近年来，随着大型语言模型（LLMs）的快速发展，其在代码生成领域的应用也取得了显著的成果。然而，尽管训练计算的规模化带来了模型性能的显著提升，但推理计算的规模化并未产生类似的增益。这引发了研究人员的思考：是否存在一个核心的缺失组件，导致模型在搜索过程中反复生成高度相似但不正确的结果，从而降低了搜索效率？
为了解决这个问题，来自Scale AI、California Institute of Technology和Northeastern University等机构的研究人员提出了一种名为PlanSearch的新颖搜索算法。该算法通过在自然语言中搜索解决问题的候选计划，来解决模型输出多样性不足的问题。PlanSearch首先生成一组关于问题的观察，然后使用这些观察来构建解决问题的计划。通过在自然语言中搜索计划而不是直接搜索代码解决方案，PlanSearch能够探索到比基线搜索方法更广泛的潜在解决方案范围。
实验结果表明，使用PlanSearch在Claude 3.5 Sonnet等模型上取得了显著的性能提升。在LiveCodeBench（一个用于竞争性编程的无污染基准）上，使用PlanSearch的Claude 3.5 Sonnet实现了77.0%的pass@200，超过了不使用搜索的最佳性能（pass@1 = 41.4%）和使用标准重复采样的最佳性能（pass@200 = 60.6%）。此外，研究人员还发现，在所有模型、算法和基准中，搜索算法的性能增益可以准确地预测为生成想法多样性的直接函数。
这一研究为LLMs在代码生成领域的应用提供了新的思路和方法。通过引入PlanSearch算法，研究人员成功地提高了模型在推理阶段的搜索效率和准确性。这对于推动LLMs在实际应用中的发展具有重要意义。
然而，尽管PlanSearch取得了显著的成果，但仍然存在一些限制和挑战。首先，PlanSearch的计算成本相对较高，这可能会限制其在实际应用中的可行性。其次，PlanSearch的性能提升主要体现在pass@k指标上，而在其他指标上的表现可能并不理想。此外，PlanSearch的适用性也需要进一步验证，特别是在其他领域或任务中的应用。
尽管如此，PlanSearch的提出仍然为LLMs的搜索算法研究提供了新的思路和方向。通过在自然语言中搜索计划，PlanSearch能够有效地提高模型的输出多样性，从而提高搜索效率和准确性。这为解决LLMs在推理阶段的搜索瓶颈问题提供了一种可行的方法。
