大语言模型的推理能力提升，经历了从规模扩展到方法创新的转变。Google在2022年提出Chain-of-Thought（CoT），通过让模型"展示工作过程"大幅提升了推理表现。随后Tree-of-Thought和Graph-of-Thought相继出现，推理结构从线性链条演进为复杂图网络。
Chain-of-Thought：让AI展示推理步骤
CoT的核心机制是要求模型输出中间推理过程，而不是直接给出答案。最简单的实现方式是在提示中加入"Let's think step-by-step"。这种方法在算术推理、常识推理和符号推理任务上都展现出显著效果。
实际应用中，CoT会将复杂问题分解为子步骤：识别关键信息→执行计算→得出结论。这种分步推理利用了大语言模型在预训练中学到的推理模式，成本低廉但效果明显。
CoT的致命缺陷是错误传播。一旦某个步骤出错，后续推理会沿着错误路径继续，最终导致错误结果。这种线性特征使得CoT无法处理需要回溯或多路径探索的复杂问题。
https://arxiv.org/abs/2201.11903
Tree-of-Thought：并行探索多个路径
2023年，Shunyu Yao团队提出ToT，允许模型在推理过程中维护多个思路分支。与CoT的单一路径不同，ToT在每个推理节点生成多个候选思路，通过评估选择最有前景的分支继续。
ToT引入了搜索和规划机制。模型能生成多样化推理路径，评估路径质量，必要时回溯重选。在"24点游戏"实验中，ToT表现远超CoT——它能并行尝试不同数字组合和运算顺序，遇到死胡同时及时切换路径。
代价是计算开销增加。维护多分支、路径评估、搜索操作都需要额外资源。但换来的是推理鲁棒性大幅提升，特别是在错误恢复和解空间探索方面。
https://arxiv.org/abs/2305.10601
Graph-of-Thought：图结构推理网络
GoT突破了树形结构限制，将推理建模为图结构。不同思路节点可建立任意连接：合并、分离、循环引用等复杂关系都被支持。
这种设计基于对人类思维的深层观察。现实问题解决往往不是严格层次化过程，而是涉及概念交叉关联、信息重组整合、观点迭代修正。图结构天然支持这种非线性思维模式。
GoT允许两个独立推理分支合并为复合思路，也可从综合观点分解出具体方向。模型还能在推理图中形成循环，实现思路迭代细化。这种灵活性特别适合需要多源信息综合或全局视角的复杂任务。
主要挑战是复杂度管理。图结构构建、节点连接关系确定、分支合并与修剪策略都是工程难题。GoT目前仍处于早期研究阶段。
https://arxiv.org/abs/2308.09687
总结
从CoT到GoT的演进轨迹展现了AI推理范式的根本性变革：从单一路径的顺序推理转向多维度的并行思维模拟。这一进程标志着大语言模型研究重心从参数规模竞争转向认知机制建模。
方法对比分析
计算成本呈递增趋势：CoT < ToT < GoT。推理能力的复杂度和灵活性同样递增。实际应用需要在性能需求和资源约束间平衡。
生产环境部署需权衡推理性能与资源消耗。CoT因其轻量特性适合大规模服务，ToT在质量要求较高的场景中性价比突出，GoT则主要应用于研究原型和专业领域。
混合策略正成为主流方案：根据问题复杂度动态选择推理模式，简单查询使用CoT快速响应，复杂任务调用ToT深度分析，极端情况启用GoT全面探索。
https://avoid.overfit.cn/post/dcaf750a0edb4e8781cd03cce8f763b1
