在人工智能领域，大型语言模型（LLMs）以其强大的自然语言处理能力而备受关注。然而，这些模型在处理复杂问题时，尤其是在面对重复性子任务或包含误导性信息的场景中，常常表现出力不从心。为了提升LLMs的问题解决能力，南加州大学与微软亚洲研究院的研究团队提出了一种创新的方法：将分治算法（Divide-and-Conquer，DaC）与prompt策略相结合，以增强模型在识别和解决复杂问题时的准确性。
这项研究的核心在于解决LLMs在处理长解决方案路径任务时的局限性。由于Transformer架构的LLMs缺乏循环结构，它们在处理需要逐步推理的任务时表现不佳。为了克服这一挑战，研究者们设计了一种新的prompt策略，即Chain-of-Thoughts（CoT），它通过将LLM的角色转变为子问题解决者，从而扩展了模型的表达能力。然而，CoT策略在实际应用中仍存在缺陷，尤其是在处理长文本或复杂问题时，容易受到中间错误的干扰。
为了解决这一问题，研究者们提出了DaC策略，该策略通过将任务解决过程分解为三个独立的阶段——任务分解、子任务解决和解决方案合并，从而避免了子任务生成过程中的干扰和错误。在任务分解阶段，LLM被引导将复杂任务分解为多个可以独立解决的子任务；在子任务解决阶段，模型为每个子任务提供答案；最后，在解决方案合并阶段，模型将所有子任务的解决方案合并，得出最终答案。这种分阶段的方法不仅提高了任务解决的准确性，而且减少了因任务复杂性带来的错误。
研究者们通过理论分析和实验验证了DaC策略的有效性。他们证明了DaC策略能够扩展固定深度的log-precision Transformer的表达能力，并通过在大整数乘法、幻觉检测和文章级事实核查等任务上的实验，展示了DaC策略相较于传统prompt策略的优越性。在大整数乘法任务中，DaC策略通过并行处理子任务，显著提高了计算的准确性；在幻觉检测任务中，DaC策略有效地识别了与给定上下文不一致的陈述；在事实核查任务中，DaC策略通过分解新闻文章为多个句子并分别处理，然后合并所有句子的结论，展现了在识别误导性信息方面的优势。
尽管DaC策略在提出的任务上取得了显著的成果，但它的适用范围仍然有限。CoT、EoT、LtM和DaC基于不同的算法范式，学习不同的适用范围。例如，CoT更适合于可以桥接到动态规划的任务，而EoT更适合于基于探索和搜索的任务。DaC策略则更适用于可以分解为一系列相对独立的子任务的问题。未来，研究者们计划进一步扩展DaC策略的适用范围，例如在问答等领域。
这项研究的成果为LLMs的发展提供了新的视角。通过引入分治算法，研究者们不仅提高了模型处理复杂问题的能力，也为未来的人工智能研究开辟了新的道路。DaC策略的成功应用，展示了通过创新的方法论，可以显著提升LLMs在面对挑战性任务时的表现，这对于推动人工智能技术的进步具有重要意义。然而，这一策略仍有待在更广泛的应用场景中进行测试和优化，以实现其在多样化任务中的潜力。
