北京大学的李戈团队提出了一种名为CodeDPO的新型代码模型对齐方法，该方法在代码生成领域具有显著的创新性和实用性。CodeDPO旨在通过整合偏好学习来改进代码生成模型的两个关键偏好因素：代码的准确性和执行效率。
CodeDPO的创新之处在于其独特的数据集构建方法，该方法利用自我生成和验证机制，同时生成和评估代码以及测试用例。这一机制的核心假设是，可由多个代码片段执行的测试用例提供更可靠的验证，而通过更多测试的代码更可能是正确的。
具体而言，CodeDPO使用一种基于PageRank算法的自我验证过程，迭代地更新每个代码片段的排名分数，最终创建一个基于准确性和效率的代码偏好优化数据集。这种方法的灵活性和可扩展性使得它能够生成各种偏好优化数据，而无需依赖外部资源。
CodeDPO在多个广泛用于评估代码生成模型的基准测试中表现出了显著的性能优势。例如，在HumanEval基准测试中，使用CodeDPO优化的模型实现了83.5%的通过率，这比现有的最佳方法有了显著的改进。
此外，CodeDPO还能够提高代码的执行效率。通过测量生成代码的执行时间，CodeDPO能够识别出执行效率更高的代码片段，并将其纳入到训练数据集中，从而鼓励模型在代码生成过程中优先选择这些更高效的解决方案。
CodeDPO的灵活性和可扩展性是其另一个重要的优势。与现有的依赖高质量测试用例或强大模型来生成测试用例的方法不同，CodeDPO的自我生成和验证机制使得它能够独立地创建各种编程问题的平衡偏好对，而无需依赖外部资源。
这种灵活性和可扩展性使得CodeDPO能够适应各种不同的编程任务和场景，包括那些高质量测试数据可能稀缺的场景。因此，CodeDPO有潜力成为代码模型训练和优化的通用工具。
尽管CodeDPO在代码生成领域具有显著的优势，但它也存在一些局限性。例如，CodeDPO的自我验证机制可能受到生成测试用例的质量的影响。如果生成的测试用例质量较低，那么自我验证过程可能会产生不准确的结果，从而影响到最终的代码偏好优化。
此外，CodeDPO的训练过程可能需要大量的计算资源和时间。由于CodeDPO需要生成和评估大量的代码片段和测试用例，因此其训练过程可能比传统的代码生成模型训练方法更加耗时和昂贵。
