在人工智能领域，大模型（Large Language Models，LLMs）的崛起引发了广泛的关注和讨论。这些模型以其强大的问题解决能力而闻名，但同时也暴露出在推理任务上的不足，与人类的推理能力相比存在明显差距。这引发了一个有趣的问题：大模型在没有传统意义上的推理能力的情况下，是如何展现出问题解决的思路的？
最近，一项名为《Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models》的研究为我们提供了一些线索。该研究通过分析大模型在预训练阶段所依赖的数据，揭示了它们在推理任务中采用的策略。
研究团队选择了两个不同规模的大模型（7B和35B），并分析了它们在预训练阶段使用的2.5B个标记（tokens）。他们发现，对于三个简单的数学推理任务，模型在生成输出时所依赖的文档与回答事实问题时所依赖的文档存在明显差异。
具体来说，对于事实问题，模型通常依赖于不同的数据集。然而，对于推理问题，一个文档往往对多个不同的推理问题产生相似的影响，这表明存在一种称为“程序性知识”（procedural knowledge）的共同模式。
程序性知识是指关于如何执行特定任务的知识，例如使用公式或代码来解决问题。研究团队发现，对于推理问题，最具有影响力的文档通常包含程序性知识，而不是直接的答案或中间推理步骤。
这一发现表明，大模型在推理任务中采用的策略与传统的检索方法不同。它们更倾向于从包含类似推理过程的文档中合成程序性知识，而不是简单地检索答案。
这种策略合成的方法具有一些优势。首先，它使大模型能够从有限的数据中学习到更广泛的推理模式，从而提高其泛化能力。其次，它使模型能够适应不同的任务和领域，而无需进行大规模的重新训练。
然而，这种策略合成的方法也面临一些挑战。首先，它需要模型能够准确地识别和提取程序性知识，这可能需要更复杂的算法和更大规模的数据。其次，它可能使模型对数据中的偏差和错误更加敏感，从而影响其鲁棒性和可靠性。
这项研究为我们理解大模型的推理能力提供了新的视角。它表明，尽管大模型在传统意义上的推理能力上存在不足，但它们可以通过合成程序性知识来展现出问题解决的思路。
这一发现对大模型的发展具有重要的启示意义。首先，它提醒我们在评估大模型的推理能力时，不能仅仅关注其在特定任务上的表现，而应该更关注其在学习和应用程序性知识方面的能力。其次，它为我们提供了改进大模型推理能力的方向，即通过设计更有效的算法和使用更大规模的数据来提高其合成程序性知识的能力。
