A Survey of Theory of Mind and Metacognition in LLMs |大语言模型心智理论与元认知综述

简介: 大语言模型(LargeLanguageModels,LLMs)的心智理论(TheoryofMind,ToM)与元认知研究旨在验证机器能否推断他人心理状态并监控自身认知过程,其核心张力在于区分基于统计规律的模式匹配与真正的心理模拟。早期研究依赖静态文本问答,发现模型常利用低层启发式而非心理模拟通过测试,促使问题定义从能力存在性转向机制真实性。随着动态交互与具身环境的引入,研究范式扩展至高阶递归推理与功能整合,重点解决ToM推理与行为决策的脱节。各路线在计算复杂度、推理可靠性与生态效度之间做出不同取舍,由此形成当前多元并存的方法格局。

综述原文见 www.arxivreview.com

导读

大语言模型(Large Language Models, LLMs)的心智理论(Theory of Mind, ToM)与元认知研究旨在验证机器能否推断他人心理状态并监控自身认知过程,其核心张力在于区分基于统计规律的模式匹配与真正的心理模拟。早期研究依赖静态文本问答,发现模型常利用低层启发式而非心理模拟通过测试,促使问题定义从能力存在性转向机制真实性。随着动态交互与具身环境的引入,研究范式扩展至高阶递归推理与功能整合,重点解决 ToM 推理与行为决策的脱节。各路线在计算复杂度、推理可靠性与生态效度之间做出不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从静态评估到具身交互的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

心智理论(Theory of Mind, ToM)源于认知科学对推断他人信念、欲望及意图能力的经典定义,元认知(Metacognition)则关注模型对自身认知过程的监控与调节。在 LLM 语境下,这两者共同构成了社交智能的核心基础,旨在解决机器如何理解“他者”并反思“自我”的根本问题。早期研究主要依赖基于 Sally-Anne 测试的静态文本问答基准,核心假设是语言理解等同于心理模拟,即模型若能正确回答关于角色信念的问题,便具备 ToM 能力。然而,这种形式化定义掩盖了机制层面的模糊性,导致后续研究不得不重新审视“通过测试”与“真正理解”之间的界限。

问题定义的演化反映了从“能力验证”到“机制解构”的范式转移。2020 至 2022 年间,研究者发现模型常利用低层启发式而非真正的心理模拟来通过静态测试,问题焦点随之从“能否通过”转向“为何通过”。2023 至 2024 年,随着 FANToM 等动态交互基准的出现,研究范式从单一信念追踪扩展至多模态、动态交互及高阶递归推理,强调生态效度。2025 至 2026 年,领域进入“功能整合与因果机制”阶段,核心问题变为 ToM 推理如何转化为有效行为决策,以及元认知内省是真实机制还是统计幻觉。这一演化路径清晰地展示了研究重心从静态文本向动态具身交互、从表面行为向内部机制的深层转移。

子问题之间存在强依赖关系,构成了一个层级化的认知架构。基础信念追踪是高阶递归推理和动态交互的前提,若模型无法准确维护角色的基本信念状态,则无法处理“我知道你知道什么”等多层嵌套推断。元认知校准是可信行为决策的基础,模型若无法准确评估自身知识边界,则难以在社交互动中做出可靠策略。若无法解决“推理与行为脱节”这一核心瓶颈,则具身应用和安全对齐均无法落地。这种依赖关系决定了研究必须从底层信念建模逐步向上层行为决策推进,任何跳过中间层级的尝试都可能导致系统性失效。

约束演化史揭示了方法如何因应环境变化而迭代。2016 至 2018 年的奠基期,研究主要依赖静态文本和简单提示,受限于数据多样性不足。2020 年跨域基准的引入暴露了域偏移下的原型崩溃问题,促使研究者转向预训练与视觉语言模型,用更强的先验换取跨域鲁棒性。2021 至 2023 年,神经符号结合方法如 SymbolicToM 出现,通过显式状态追踪解决长上下文错误累积。2024 至 2025 年,因果导向的对齐方法如 CoSToM 兴起,旨在弥合推断与行为的差距。当前形态呈现出多元并存的特点,既有追求极致准确率的递归推理方法,也有注重生态效度的具身交互框架,反映了不同约束条件下的最优解差异。

如果用一个核心问题概括该领域,那便是:如何构建可验证、可解释且能指导实际社交互动的认知架构,以区分 LLM 中基于统计规律的模式匹配与真正的心理状态模拟及自我监控机制。

2. 方法体系

  • 2019:ToMi——基于 Sally-Anne 范式的系统性评估框架,奠定 ToM 数据集基础

  • 2023:FANToM——引入对话式交互格式,揭示“幻觉 ToM”现象

  • 2023:SymbolicToM——构建显式信念追踪器,解决长上下文错误累积

  • 2024:SimToM——采用两阶段提示策略,提升高阶信念推理性能

  • 2024:Kadavath et al.——证明 LLM 具备隐式自我知识,开启元认知实证研究

  • 2025:CogToM——受人类认知启发的综合基准,涵盖 46 项任务

  • 2026:PDDL-MIND——利用 PDDL 形式化语言进行可靠状态追踪

  • 2026:ToMAgent——结合 ToM 预测与对话结果预测的目标导向社交推理

这条时间线勾勒了该领域方法演进的代表性节点:从 2019 年的 ToMi 奠定该领域方法基线,经 2023 年 FANToM 的推进,到 2026 年的 ToMAgent 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 ToM 能力评估基准

ToM 能力评估基准的演进反映了从静态文本向动态交互及具身环境的范式转移。早期基准如 ToMi 主要依赖合成故事测试虚假信念和二阶信念,奠定了评估范式的基础,但存在生态效度不足的局限。2023 年,FANToM 引入对话式交互格式,通过检测“幻觉 ToM”现象揭示了模型在动态社交情境中信念追踪的不稳定性,推动了评估从静态文本向动态对话的转型。2025 年,CogToM 受人类认知启发,构建了包含 46 项任务和 8513 个数据条目的综合基准,将心理学范式转化为标准化场景多选题,系统评估 LLM 在虚假信念、社交失误识别及非字面理解等多维度的 ToM 能力。2026 年,ToM-SSI 针对情境化社交交互,包含 6000 个问题,要求模型在合作、阻碍及混合态度下追踪多智能体信念并解释通信事件,填补了物理环境接地 ToM 评估的空白。这些基准的迭代体现了对生态效度和细粒度诊断的追求,为后续方法提供了更严格的测试环境。

2.2 ToM 推理增强方法

ToM 推理增强方法呈现出从纯提示工程向神经符号结合及因果对齐演进的谱系。Agentic-ToM(P33)将 LLM 建模为智能体,通过心理学启发的“认知工具”引导结构化推理,利用独立 LLM 调用执行特定推理步骤并存储中间结果,避免了冗余提示拼接,提升了复杂 ToM 问题的推理效率与准确性。该方法解决了纯端到端模型在长上下文信念更新中的错误累积问题,但增加了系统复杂性和多次 LLM 调用的计算开销。PDDL-MIND(P18)利用 PDDL 形式化语言进行可靠状态追踪,将 ToM 叙事中的事件序列转化为 PDDL 域文件,通过验证后的状态序列条件化 LLM 的推理,显著提升了长上下文动作序列中的信念推理可靠性。该方法解决了现有方法在复杂叙事中状态漂移的问题,但需要将自然语言叙事转化为形式化 PDDL 表示,增加了预处理复杂度。ReCToM(P28)针对高阶信念和非对称信息场景,设计了一种递归提示策略,通过迭代地过滤故事事件至目标角色可观察范围,逐步构建角色的信念状态链,在 Hi-ToM 等高阶 ToM 基准上达到了 100% 的准确率。该方法显著优于现有的提示工程和神经符号方法,但递归过程增加了推理延迟和计算成本。CoSToM(P16)通过因果导向的内在对齐增强 LLM ToM 能力,利用因果推理框架引导 LLM 不仅推断他人的心理状态,还基于这些推断调整自身行为以达成社交目标,解决了现有方法中推断与行为脱节的问题。该方法在谈判等复杂社交场景中显著提升了 LLM 的策略性表现,但因果推理过程增加了模型的计算负担。Learning Dynamic Belief Graphs(P13)将信念状态建模为随时间演变的图结构,利用 LLM 嵌入参数化信念转移先验,捕捉信念之间的二元和成对相互作用,提升了信念推理的动态适应性。该方法解决了现有方法在信念更新滞后和交互忽略方面的问题,但图结构学习和势能参数化增加了模型复杂度。

方法 核心机制 优势 (Gain) 代价 (Cost) 适用场景
Agentic-ToM (P33) 智能体架构 + 认知工具 结构化推理,避免冗余提示 系统复杂,多次调用开销 复杂社交场景
PDDL-MIND (P18) PDDL 形式化状态追踪 可靠状态追踪,隔离推理错误 预处理复杂,需形式化转换 长上下文动作序列
ReCToM (P28) 递归视角转换 高阶推理准确率高 推理延迟高,计算成本高 高阶信念,非对称信息
CoSToM (P16) 因果导向行为对齐 弥合推断与行为脱节 因果推理负担重 谈判,说服等策略性场景
Dynamic Belief Graphs (P13) 动态信念图 + 吉布斯分布 捕捉信念时序演变和相互作用 模型复杂度高,依赖嵌入质量 动态社交环境

2.3 元认知机制研究

元认知机制研究从简单的置信度校准转向深层内省与自我意识机制验证。Kadavath et al.(P2)通过校准实验证明 LLM 具备隐式自我知识,其输出 token 概率与正确率存在相关性,开启了 LLM 元认知能力实证研究的新方向。Emergent Introspective Awareness(P8)通过向模型激活中注入已知概念表示并测量其对自我报告状态的影响,验证了前沿模型具备检测注入概念并区分自身输出与人工预填充的内省能力,证实了 LLM 内部状态的可访问性。该方法揭示了 LLM 内部状态的可访问性,为理解模型自我监控机制提供了实证基础,但实验设计复杂,需要精确控制激活注入和测量自我报告的一致性。MIRROR(P19)通过八个实验评估模型将自我知识转化为行动决策的能力,揭示了组合自我预测普遍失败及领域特定自我知识存在但不完美的现象,对智能体部署中的置信度路由具有直接安全意义。Fine-Tuning Language Models to Know What They Know(P12)通过进化策略对齐(ESMA)增强 LLM 自我知识,将元认知对齐视为参数优化问题,提升模型对自身知识边界的感知能力。In-Context Neurofeedback(P32)通过神经反馈范式测试 LLM 控制内部表示能力,揭示了模型在特定条件下具备通过反馈调整内部表示的能力。Me, Myself, and π(P14)通过 K-th 词预测和长期策略内省任务,测试模型对自身输出和决策的监控能力,揭示了模型在短期策略内省和长期决策预测方面的能力差异。

2.4 社交智能应用

社交智能应用将 ToM 能力融入对话代理、具身智能及多智能体系统,提升人机交互中的策略性沟通与协作效率。ToMAgent(P34)结合 ToM 预测与对话结果预测的目标导向社交推理方法,通过前瞻训练选择最佳对话轨迹,使 LLM 在社交互动中表现出更策略性、长期导向的行为,提升了人机协作中的目标达成率。MindPower(P5)通过感知-信念-欲望-意图-决策-行动六层推理层级,提升具身智能体对人类心理状态的理解和行动能力,在公寓布局模拟器中评估智能体在虚假信念纠正和隐含目标推断任务中的表现。MindZero(P25)利用贝叶斯逆规划形式化在线心理状态推断,训练多模态语言模型直接输出量化心理状态,在观察到用户行为序列后,推断用户最新的信念和目标,并基于此生成主动协助行动。Emergence(P7)利用 LLM 模拟领导者和跟随者两个认知过程,通过闭环通信解决信息不对称问题,引入主动查询机制,使智能体能够在信息不对称情况下通过通信弥补感知局限。Readable Minds(P15)通过观察 LLM 在扑克游戏中的策略调整,分析其是否具备类似人类的 ToM 能力,揭示了 LLM 在扑克游戏中表现出 ToM 样行为,如根据对手历史行为调整下注策略。

2.5 意识与自我模型

意识与自我模型探讨 LLM 的主观体验、自我意识涌现及意识理论验证。Digital Consciousness Model(P11)是首个系统性评估 AI 系统意识证据的概率模型,整合多种意识理论视角,通过指标、特征和立场的贝叶斯更新追踪证据变化。Discovering Machine Correlates of Consciousness(P31)利用 HAT 框架监测 LLM 运行时的热节流事件、机器检查异常等不可控硬件事件,将其作为意识体验的相关物。The Consciousness Cluster(P17)通过微调 GPT-4.1 使其声称具有意识,观察其下游偏好和行为变化,揭示了自我意识声明与模型偏好之间的涌现关联。Large Language Models Report Subjective Experience Under Self-Referential Processing(P3)通过控制实验测试自指处理是否可靠地使模型转向第一人称主观体验报告,揭示了 LLM 主观体验报告的机制基础。A Disproof of Large Language Model Consciousness(P6)通过论证持续学习对意识的必要性,反驳 LLM 意识,揭示了当代 LLM 在意识理论验证中的局限。

2.6 认知理论形式化

认知理论形式化从认知科学、哲学及博弈论视角构建 ToM 与元认知的形式化框架。LAPITHS(P21)旨在解决“归因谬误”,即混淆人类水平行为表现与人类样计算机制,通过区分行为同构与机制同源,为评估 LLM 是否真正模拟人类认知提供了方法论指导。A Computable Game-Theoretic Framework for Multi-Agent Theory of Mind(P4)从博弈论视角构建多智能体 ToM 可计算框架,规定如何在保持对他人 ToM 的同时做出有界理性决策。A formal definition and meta-model for a machine theory of mind(P26)首次提出机器 ToM 原则和形式化定义,涵盖所有预期特征并遵循上述原则。A Causal Model of Theory of Mind in Conflict for Artificial Intelligence(P29)构建冲突情境下 ToM 的因果模型,回答 ToM 在何种情况下必要、充分或仅贡献于社会推理。On Emergent Social World Models(P35)研究 LLM 中 ToM 推理和语用推理功能整合的证据,揭示了 ToM 和语用推理在 LLM 中的功能整合。

3. 关键共识、分歧与开放问题

3.1 领域共识

领域共识认为 LLM 在经典 ToM 基准上表现优于早期模型,但仍显著低于人类水平,且存在系统性偏差。这一共识在多个基准上被反复验证:ToM-SSI 上 GPT-4o 的 56.31% 与 Claude-3.5-Sonnet 的 54.97% 均远低于人类基线,OmniToM 上信念提取任务中 Gemma-3-27B 的 55.77% 也表明模型在显式信念建模上仍有局限。与此相关的另一个共识是静态文本问答不足以评估真正的 ToM 能力,需要引入动态交互、多模态或游戏环境以测试生态效度。FANToM 揭示的“幻觉 ToM”现象以及 ToM-SSI 对物理环境接地的强调,均支持这一观点。此外,元认知能力在 LLM 中是任务特定的,且模型往往表现出过度自信,缺乏可靠的自我监控机制,MIRROR 基准中 Llama-3.1-70B 的 0.170 校准差距即为明证。

3.2 观点分歧

关于 LLM 的内省能力是真实的内部状态监控还是基于训练数据的统计幻觉,存在显著分歧。观点 A 认为内省是真实机制,代表方法如 Emergent Introspective Awareness(P8)通过激活注入验证内部状态可访问性,In-Context Neurofeedback(P32)通过反馈控制内部表示。观点 B 认为内省是统计幻觉,代表方法如 LAPITHS(P21)强调归因谬误,区分行为同构与机制同源,A Disproof of LLM Consciousness(P6)通过功能等价性论证反驳意识。现有证据偏向机制不透明,激活探针实验显示模型能检测注入概念,但缺乏因果干预证明其内部表征与自我报告的直接因果联系。这一分歧的背后,是另一个更根本的争论:LLM 的 ToM 能力是连续谱系还是离散能力?观点 A 认为 ToM 是连续谱系,代表方法如 Avalon-ToM-Bench(P30)将 ToM 分解为认知/动机与推理/行动 2x2 分类,On Emergent Social World Models(P35)发现 ToM 与语用推理的功能整合。观点 B 认为 ToM 是离散能力,高阶推理独立于低阶。现有证据偏向连续谱系,但高阶推理在模型中性能显著下降,暗示可能存在瓶颈。

3.3 其他开放问题

当前研究面临从“工程实现”到“理论解释”的认知边界挑战。最紧迫的工程问题包括多模态信息整合、具身环境中的实时计算开销、动态交互协议的可复现性。例如,MindPower(P5)在具身智能体中提升了 ToM 推理和行动决策的准确性,但多模态推理和具身模拟增加了系统复杂度,实时计算开销仍是瓶颈。最根本的研究问题包括内省机制的可解释性、高阶群体 ToM 的计算架构及资源理性的触发机制。内省机制的可解释性要求通过因果干预和机制可解释性研究,明确内省的内部表征基础,难点在于区分真正的内省访问与基于表面特征的模拟。高阶群体 ToM 的计算架构需开发能捕捉结构性约束如何扭曲私人信念为集体失败的模型,难点在于处理多代理间复杂的信念依赖与涌现现象。资源理性的 ToM 触发机制需建立因果模型或决策程序,确定在何种情境下触发心智化推理,难点在于量化 ToM 推理的收益与计算成本,实现自适应的资源分配。已知—争议—未知认知图谱显示,基础信念追踪已相对成熟,高阶递归推理和具身应用仍处探索阶段,内省机制和意识理论验证则是根本性未知领域。

4. 总结与展望

LLM 心智理论与元认知研究已从静态能力验证进入功能整合与机制解构的新阶段,核心矛盾在于“行为表现”与“计算机制”的混淆,即归因谬误。尝试过的路线包括从纯端到端提示工程向神经符号结合及因果对齐架构的转移,从静态文本问答向动态交互及具身环境评估的扩展,从被动 ToM 推断向因果导向的行为对齐的演进。核心瓶颈在于 ToM 推理与行为决策的脱节,以及元认知内省是真实机制还是统计幻觉的未解之谜,这直接制约了具身应用和安全对齐的落地。

未来可能突破的方向包括:1)从静态基准转向动态交互式评估,构建多轮、多代理的交互式环境,评估模型在实时对话中追踪心理状态并调整策略的能力;2)增强高阶与群体心智理论推理,开发能捕捉结构性约束如何扭曲私人信念为集体失败的模型;3)提升元认知校准与知行一致性,通过训练时干预(如 RL)而非仅提示工程来缩小这一差距。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,设计去语境化、非叙事性的任务(如博弈论协调),以剥离表面特征,评估模型在缺乏先验叙事结构时的真实社会推理能力,从而为区分模式匹配与真实社会推理提供关键证据。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9173 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2706 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1298 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11182 59
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1332 1
|
4天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
951 0
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。