大型语言模型（LLMs）在处理复杂推理任务时面临挑战，这突显了其在模拟人类认知中的不足。尽管 LLMs 擅长生成连贯文本和解决简单问题，但在需要逻辑推理、迭代方法和结果验证的复杂任务（如高级数学问题和抽象问题解决）中，其能力有所欠缺。
这种局限性源于 LLMs 的信息处理方式。大多数模型采用类似于系统 1 的思维模式——一种快速、基于模式的反应，类似于直觉。虽然这种方法适用于许多任务，但它在需要系统性推理、尝试多种策略和检查结果的问题上表现不佳。系统 2 思维，即人类解决难题时采用的缓慢、逐步且通常需要回溯以完善结论的方法，是解决这些挑战的关键。
为了弥合这一差距，研究人员引入了元链式思考（Meta-CoT）。Meta-CoT 基于链式思考（CoT）方法，使 LLMs 不仅能够建模推理步骤，还能够模拟“思考”过程。这种转变类似于人类在面对难题时的探索、评估和迭代方式。
本文探讨 Meta-CoT 如何拓展 AI 推理的边界，深入研究其理论基础、实际应用和实证支持。同时我们将分析搜索算法、强化学习以及在大型语言模型中扩展审慎推理的挑战。
解锁 AI 中的审慎推理
大型语言模型（LLMs）在处理事实性问题、撰写清晰文本以及解决基本推理问题方面已取得显著进展。但是在高复杂度任务（如高级数学、科学证明或战略决策）中，它们常常表现出不足。这揭示了 AI 在认知能力方面存在的明显差距：缺乏仔细规划和审慎推理能力。
本文基于 Xiang 等人（2025）的研究论文《Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought》中的思想，探讨了一种名为元链式思考（Meta-CoT）的新方法。该方法旨在扩展传统链式思考（CoT）推理能力。
尽管传统的 CoT 方法引导 LLMs 逐步解决问题，但它忽略了解决复杂问题所需的迭代和探索过程。Meta-CoT 通过在 AI 的问题解决步骤中引入结构化的搜索、验证和系统性思考来解决这一问题。
除了对论文进行总结，本文还提供了实际应用、更多示例，以及对 Meta-CoT 如何融入 AI 审慎推理的更广泛计划的视角。对于熟悉认知科学的人来说，这与 Daniel Kahneman 所描述的系统 2 思维密切相关——一种缓慢且逻辑的处理过程。通过将这些概念引入 AI，Meta-CoT 推进了 LLMs 处理需要超越模式识别的任务的能力。
本文接下来的部分将探讨 Meta-CoT 的基础、训练方法及其在实际应用中的影响。这些见解共同展示了 Meta-CoT 如何为赋予 AI 类人问题解决能力提供蓝图。
什么是元链式思考？
要理解元链式思考（Meta-CoT），需要回顾传统的链式思考（CoT）方法。CoT 推理引导语言模型通过将问题分解为更小的、连续的步骤来解决问题，类似于在数学中展示解题过程。这种方法在简单任务中确实提高了性能，因为它促使模型“逐步思考”。但是对于更复杂的问题，传统的 CoT 则会遇到困难。原因在于，现实世界的推理很少是线性的，它通常涉及循环和非线性的路径。
Xiang 等人（2025）在其关键论文中引入了 Meta-CoT，将 CoT 推理向前推进，通过建模解决问题所需的潜在思考过程。与假设线性和确定性推理不同，Meta-CoT 认识到真正的问题解决包含探索循环、验证和回溯。这使得模型能够模仿人类在面对复杂挑战时使用的迭代式“思考”。
Meta-CoT 的核心是整合系统 2 类型的推理——专注于解决复杂问题的审慎策略。例如考虑解决一个高级数学问题：传统的 CoT 方法可能会尝试直接求解；但是Meta-CoT 引入了以下机制：
- 搜索：探索各种可能的解决方案路径。
- 验证：检查解决方案或步骤是否符合问题约束。
- 回溯：识别错误并返回到之前的步骤进行修正。
这种从线性生成到迭代式问题解决的转变标志着一个根本性的改进。他们认为，Meta-CoT 可以更好地处理中间步骤或思考过程在训练数据中不明确的问题，而这正是高级推理任务的常见情况。
下图展示了语言模型中两种不同的思考方式：
经典链式思考（CoT）：从头到尾逐步移动，适用于简单任务，但对于非线性问题则存在不足。
元链式思考（Meta-CoT）：引入迭代思考、检查和回溯，类似于人类处理模糊和复杂问题的方式。
为什么经典 CoT 会失败？
要理解 Meta-CoT 的创新之处，有必要了解旧版 CoT 的局限性。经典 CoT 使用固定的提示进行逐步思考，假设其符合训练数据的模式。诸如数学证明或科学问题等任务通常涉及隐藏的步骤。经典 CoT 无法模仿人类的探索策略，从而导致错误的答案。
对于国际数学奥林匹克中的一道难题，CoT 模型通常采用简单的技巧而非深入探索。Meta-CoT 将问题视为一个潜在变量过程，使模型能够通过组合多个中间步骤进行思考，即使这些步骤在数据中不存在。
推理中的搜索和验证
人类通过尝试不同的方法来解决困难问题。我们思考可能的答案，检查其是否可行，并在必要时调整计划。这种探索和检验想法的能力构成了审慎思考的基础。大多数语言模型缺乏这些能力。其线性的思维模式在需要探索和检验的任务中会失效。
元链式思考（Meta-CoT）通过添加两个关键组件来弥补这一不足：搜索和验证。这些工具使模型能够尝试多种解决方案路径并检查其正确性，类似于人类的推理过程。
搜索：尝试多种解决方案路径
Meta-CoT 中的搜索使语言模型能够在解决方案空间内尝试不同的步骤。与之前只生成单一的步骤序列不同，Meta-CoT 将推理视为一个分支过程：
- 模型在每个阶段考虑多种可能的下一步。
- 启发式方法或概率检查选择最佳路径。
- 如果在某个路径上遇到困难，模型会回溯并尝试其他选择。
这种搜索工具类似于蒙特卡洛树搜索（MCTS）或 A* 算法，但针对推理进行了调整。例如，在求解数学方程时，模型可能会尝试不同的因式分解方法，测试其有效性，并最终缩小至正确的选择。
A* 算法是一种通过结合以下要素来找到目标最优路径的搜索算法：
- 路径成本 (g)：从起点到当前节点的路径成本。
- 启发式 (h)：从当前节点到目标的估计成本。
它优先探索总成本最低的路径：
- f(n) = g(n) + h(n)
以下是其工作原理：
- 算法从节点 A 开始。
- 它探索 A 的相邻节点（B 和 C）并评估其成本。
- 它选择总成本（f）最小的节点并继续搜索。
- 如果遇到目标（D），则终止并返回解决方案。
- 如果某个路径导致死胡同，算法会回溯并探索替代路径。
以下是搜索树图的图形表示：
沿途确保正确性
单独的搜索缺乏强大的验证机制。验证作为模型的内部“检查和平衡”系统，负责检查特定解决步骤是否有效。在 Meta-CoT 中，验证是通过以下方式实现的：
- 显式验证：使用预定义的规则或约束。
- 学习验证：训练模型基于过去的经验来识别正确的模式或结果。
例如在解决难题时，Meta-CoT 会检查中间步骤，从而消除偏离问题约束的路径。这可以防止模型将计算资源浪费在错误的解决方案上。
搜索和验证的结合构成了 Meta-CoT 的骨干，使模型能够自适应地探索和改进解决方案。在下一节中，我们将研究如何训练 Meta-CoT 以内化这些机制，从而使审慎推理成为语言模型的基本能力。
Meta-CoT 训练：超越标准方法
元链式思考（Meta-CoT）不仅仅涉及提示设计或调整简单的数据集。掌握搜索、检查和回溯步骤需要先进的训练方法。这些方法训练语言模型不仅要生成推理步骤，还要即时检查、改进和修复这些步骤。
Meta-CoT 的关键训练方法
自学推理器（Self-Taught Reasoner，STaR）: STaR 采用迭代的自举方法。模型生成推理路径，去除错误的路径，然后使用正确的解决方案来调整自身。这类似于教模型“从错误中学习”。
其工作的关键步骤：
- 使用模型生成推理路径。
- 仅保留结果正确的路径。
- 在这些“自举”路径上调整模型以改进推理。
Meta-STaR: Meta-STaR 通过在训练中添加搜索路径来扩展 STaR。它在中间步骤（如探索路径和回溯）上训练模型，从而允许有背景的搜索推理。
训练数据不再仅包含单个推理路径，还包含展示迭代和非线性思考过程的搜索树。
通过搜索算法生成合成数据: 真实的数据集很少包含复杂的思考轨迹，因此 Meta-CoT 经常使用合成数据进行训练。像蒙特卡洛树搜索（MCTS）或 A* 这样的算法可以模拟搜索轨迹，从而训练模型进行类似的任务。
以下是 Meta-STaR 方法的简化 Python 示例，展示了如何生成和使用搜索轨迹进行训练：
importrandom
classMetaSTaR:
def__init__(self, environment):
self.environment=environment
self.q_table= {} # Q-learning 表格
defgenerate_search_traces(self, num_episodes):
traces= []
for_inrange(num_episodes):
# 生成探索轨迹
trace=self._explore_episode()
traces.append(trace)
returntraces
def_explore_episode(self):
# 模拟一个探索回合的搜索轨迹
state=self.environment.reset()
trace= [state]
done=False
whilenotdone:
# 选择动作
action=self._choose_action(state)
# 执行动作
next_state, reward, done=self.environment.step(action)
# 更新轨迹
trace.append((action, next_state, reward))
state=next_state
returntrace
def_choose_action(self, state):
# 使用 epsilon-greedy 策略选择动作
ifrandom.random() <0.1:
returnrandom.choice(self.environment.actions)
else:
returnmax(self.environment.actions,
key=lambdaa: self.q_table.get((state, a), 0))
# 训练方法示例
deftrain_meta_star(environment, num_episodes=100):
meta_star=MetaSTaR(environment)
# 生成搜索轨迹
search_traces=meta_star.generate_search_traces(num_episodes)
# 分析和处理搜索轨迹
processed_traces=process_traces(search_traces)
returnprocessed_traces
defprocess_traces(traces):
# 处理搜索轨迹的逻辑
# 可以包括：
# 1. 过滤无效轨迹
# 2. 提取关键学习点
# 3. 准备用于模型微调的数据
processed_traces= []
fortraceintraces:
# 这里添加具体的处理逻辑
processed_traces.append(trace)
returnprocessed_traces
诸如 Meta-STaR 之类的训练方法可以开发出能够进行审慎思考的模型。那么这些策略如何转化为实际性能？
实证结果：审慎推理的证据
性能基准
Meta-CoT 在 HARP、MATH 和 Omni-MATH 等基准测试中进行了严格的评估，这些测试考察了超越基本标记预测的推理能力。以下是结果：
使用 Meta-CoT 改进的 OpenAI o1 模型系列在 5 级 HARP 问题上的准确性比基线推理模型提高了 70%。
在 MATH 数据集上，Meta-CoT 改进的模型表现出 85% 的 pass@64 准确率，显著优于停留在约 40% 的经典 CoT 模型。
在数学定理证明中，Gemini 2.0 使用 Meta-CoT 推理，通过回溯和检查来解决复杂的问题，包括那些非 Meta-CoT 模型给出错误或不完整答案的问题。
在迷宫任务中，A* 算法（Meta-CoT 的一个关键组成部分）使得效率比类似的采样方法提高了 4 倍。
o1 模型为棘手问题生成了更多的标记，同时保持了解决方案的准确性。这展示了 Meta-CoT 逐步思考的方式（见上面的图 1）。
通过将迭代探索嵌入到思维模型中，Meta-CoT 使模型能够以前所未有的方式处理复杂性。这标志着进步不仅在 AI 推理方面，也在现实生活中的问题解决方面。
元强化学习：学习如何思考
训练机器进行审慎思考并非易事。这不仅涉及找到答案，还需要探索、失败，并不断尝试，直到找到正确的解决方案。元强化学习（Meta-RL）通过将推理视为试错过程来解决这个问题，类似于人类解决困难问题的方式。
我们如何教会机器思考？
元强化学习将推理转变为学习过程。以下是该过程的概述：
探索：模型首先尝试各种可能的解决方案。想象一下，一个学生在面对拼图时，在不知道答案的情况下尝试猜测。
反馈：每次尝试后，模型会使用“奖励函数”来检查进度。例如，它是否更接近正确的答案？
调整：通过反馈，模型会调整其方法，探索新的方法或改进当前的方法。
总结
构建像人类一样思考和推理的机器不再是遥不可及的梦想。通过 Meta-CoT，我们开始将基于直觉的系统与进行逐步推理的系统连接起来。这种从认知科学家所称的系统 1 思维到系统 2 思维的转变具有深远的意义。它意味着要超越模式识别和本能，转向更加审慎的方法，即理解如何得出答案的方法。
Meta-CoT 改变了 AI 处理复杂问题的方式。传统模型经常难以应对需要超越线性思维的挑战。涉及探索或回溯的问题超出了它们的舒适区。但是Meta-CoT 使 AI 能够处理这些复杂性，它测试想法、检查进展，并在发现更好选择时调整推理——类似于科学家测试想法或国际象棋选手在看到更好的走法后重新思考棋步。
论文地址：
https://avoid.overfit.cn/post/0f29a54a04ac47de9475c74084b69aba
作者：Kaushik Rajan
