导读
视觉-语言模型(Vision-Language Model, VLM)推理领域的核心矛盾,在于模型生成的答案往往由语言先验驱动,而非真实的视觉证据。早期研究聚焦于图像与文本的对齐,但随着思维链(Chain-of-Thought, CoT)技术的引入,研究重心迅速转向验证中间推理步骤的忠实性。当可验证奖励强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)成为主流后训练范式时,模型在提升逻辑能力的同时,却暴露出感知能力遗忘与“过度思考”的新缺陷。这一矛盾促使研究者从黑盒的结果评估,转向白盒的机制解释与过程级诊断,试图解耦视觉接地与逻辑推理。当前领域正处于范式转型期,核心任务从追求端到端准确率,演变为构建可验证、可解释且具备主动感知能力的推理闭环。各路线在计算成本、过程透明性与机制因果性之间做出了不同取舍,由此形成评估、优化与解释并存的多元格局。本综述梳理这条从结果导向到过程可验证的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
VLM推理问题的本质并非单纯的问答能力,而是感知与认知融合过程中的系统性失效。早期研究假设视觉编码器能够完美提取语义特征,核心边界在于验证模型能否将视觉感知与语言生成有效融合以回答静态图像问题。然而,随着模型规模扩大,核心驱动力转向了如何验证模型是否具备真正的“视觉推理”能力,而非依赖语言统计规律。这一转变揭示了视觉幻觉(Visual Hallucination)与语言捷径(Language Shortcut)的深层冲突:模型在视觉证据与强语言先验冲突时,往往选择语言先验,导致高准确率下的低可靠性。
问题形式化可定义为:给定图像 $I$ 和查询 $Q$,模型生成推理轨迹 $\tau = {s_1, s_2, ..., s_k}$ 和最终答案 $A$。传统评估仅关注 $A$ 与真实标签 $Y$ 的匹配度,即 $Accuracy = \mathbb{E}[\mathbb{I}(A=Y)]$。然而,新的问题结构要求评估 $\tau$ 中每一步 $s_i$ 对 $I$ 的视觉接地(Visual Grounding)质量,以及 $\tau$ 与 $A$ 之间的逻辑一致性。子问题之间存在严格的依赖关系:视觉接地是基础,若感知层存在幻觉,后续逻辑推理必然失效;推理忠实性评估依赖于对内部机制的理解,以区分感知错误与推理错误;鲁棒性诊断则依赖于对偏差来源(数据或架构)的归因。
2021年至2023年,领域处于奠基期。CLIP通过对比预训练奠定了视觉-语言对齐的基础架构,LLaVA确立了视觉编码器与语言模型融合的标准范式。然而,LLaVA的幻觉问题引发了对推理忠实性的广泛研究,POPE基准的提出标志着评估从整体性能转向细粒度视觉元素。这一时期的核心约束是视觉编码器分辨率限制,导致模型在细粒度感知任务上表现不佳。
2024年成为关键转折点。CoT技术引入多模态领域,揭示了模型在复杂任务中的中间步骤缺陷,问题定义从端到端准确率扩展至推理链的完整性。同年,RLVR成为主流后训练范式,显著提升了数学与逻辑推理能力,但也引发了“过度思考”与“能力遗忘”的新问题。这一转折的核心动机是高质量CoT标注数据稀缺,RLVR利用确定性奖励信号解决了数据瓶颈,但牺牲了基础感知能力的稳定性。
2025年至2026年,研究重心从单纯的准确率评估转向“过程可验证性”与“因果一致性”。VLM-LENS等工具的出现,使得研究者能够提取内部隐藏表示,分析视觉-语言融合机制。TRACE等框架通过分解子问题,暴露了标准评估中容易被忽视的“静默失败”模式。当前形态下,领域正从“黑盒结果评估”向“白盒机制解释”与“鲁棒性验证”转型,重点解决视觉幻觉、语言捷径依赖以及动态环境下的时序推理失效问题。
如果用一个核心问题概括该领域,那便是:如何构建并验证一种机制,确保视觉-语言模型的最终答案是由真实的视觉证据通过逻辑一致的中间步骤推导而来,而非由语言先验或统计捷径所驱动?
2. 方法体系
2021:CLIP——奠定视觉-语言对齐基础架构
2022:Chain-of-Thought——引入中间推理步骤范式
2023:LLaVA——确立多模态指令跟随标准范式
2024:RLVR——主流后训练范式,提升推理能力
2025:VLM-LENS——提供内部表示提取工具
2026:TRACE——代表过程可验证性评估前沿
这条时间线勾勒了该领域方法演进的代表性节点:从 2021 年的 CLIP 奠定该领域方法基线,经 2022 年 Chain-of-Thought 的推进,到 2026 年的 TRACE 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 内部机制可解释性
内部机制可解释性研究旨在通过探针、电路追踪及注意力分析,揭示VLM内部视觉-语言融合机制、注意力偏差及推理模块的功能角色。该路线的起源可追溯至对LLM内部机制的分析,随着VLM的兴起,研究者开始关注多模态特有的融合过程。VLM-LENS(Sheta et al., 2025, P4)利用PyTorch钩子机制提取VLM内部隐藏表示并存储于数据库,通过YAML配置适配不同模型架构,为分析视觉-语言融合机制提供了灵活的工具包。该工具包放弃了通用性以换取对特定模型架构的精确适配,其成功依赖于PyTorch生态的兼容性。
在VLM-LENS提供数据提取基础后,Circuit Tracing(Yang et al., 2026, P17)引入了VLM电路追踪框架,利用转译器、归因图和注意力方法系统分析多模态推理。该方法发现独立的视觉特征电路可以处理数学推理并支持跨模态关联,并通过特征引导和电路修补验证了这些电路的因果性和可控性。Circuit Tracing针对VLM-LENS仅提供数据提取而无法解释因果关系的短板,实现了从相关性解释到因果性解释的转变。其核心取舍是依赖转译器的准确性,若转译器未能捕获关键特征可能导致电路识别偏差。
注意力头功能角色分析(Jiang et al., 2025, P12)则从认知功能角度切入,将注意力头分为视觉主要和语言主要类别,并分析其在低层、高层、信息回忆、数学推理和决策等认知功能中的作用。该方法通过消融实验揭示了不同注意力头在视觉-语言融合中的特定分工,建立了认知功能与模型组件之间的映射。与Circuit Tracing的电路级分析不同,注意力头分析更侧重于功能模块的识别,两者在粒度上形成互补。
仲裁失败机制分析(Nooralahzadeh et al., 2026, P24)进一步澄清了幻觉产生的具体阶段。该方法提出VLM在视觉-语言冲突中的失败源于仲裁失败而非感知盲点,通过层探针和因果性测试揭示内部机制。其核心设计是利用Logit Lens检查候选答案在层间的涌现,并使用激活修补测试特定层是否驱动模型决策。研究发现视觉信息可能被编码,但在仲裁过程中输给强烈的语言先验。这一发现修正了对VLM幻觉成因的传统认知,为通过干预仲裁过程缓解幻觉提供了理论依据。
链式嵌入对比分析(Long et al., 2025, P2)从表示几何角度揭示了语言先验的主导机制。该方法定义视觉-文本输入嵌入与仅文本输入嵌入之间的表示距离,逐层分析视觉信息对语言表示的影响。通过计算期望表示距离及其有限样本估计器,量化了视觉输入在每一层对最终输出的贡献程度。与仲裁失败分析关注决策层不同,链式嵌入分析关注整个网络深度的视觉信息衰减过程,两者共同构成了对语言先验主导机制的完整解释。
VLM可靠性探针(Mann et al., 2026, P29)则挑战了注意力-置信度假设。该方法引入VRP分析流水线,旨在解耦空间注意力与可靠性,量化模型内部状态与输出正确性的关联。研究发现视觉注意力指标在所有模型家族中均为正确性的近随机预测器,而隐藏状态中的边缘形成具有强预测性。这一发现纠正了对注意力机制作为可靠性指标的误解,为开发更可靠的VLM评估指标提供了实证基础。内部机制可解释性路线为后续优化与评估提供了因果推断基础,推动了从黑盒模型向白盒机制理解的演进。
2.2 感知推理协同优化
感知推理协同优化路线旨在通过强化学习、自训练或结构化提示,解决VLM中感知与推理的不对称及幻觉问题,提升端到端推理可靠性。该路线的奠基可追溯至2022年Chain-of-Thought的引入,但真正的范式转变发生在2024年RLVR成为主流后训练范式之后。Ariadne(Shen et al., 2025, P5)旨在调查RLVR是否能扩展VLM的推理边界,引入了最小化但完全可控的后训练框架。其核心设计是生成合成迷宫导航任务,其中地面真实难度可显式调节,允许识别基础模型一致无法产生有效解决方案的区间。Ariadne放弃了真实世界数据的复杂性,转而使用可控的合成环境以隔离推理能力扩展的机制,为后续研究提供了评估推理能力扩展的标准化实验范式。
针对RLVR导致的“过度思考”问题,门控感知-推理优化(Diao et al., 2026, P14)通过引入门控机制,动态调节感知模块与推理模块之间的信息流,防止模型在感知失败时进行无效的复杂推理。该方法基于大规模多模态推理基准的错误归因分析,发现视觉感知失败是主要错误来源,因此优化重点在于提升感知可靠性而非单纯增加推理深度。其核心取舍是依赖准确的感知错误检测,若门控机制误判可能导致正确推理被截断。
Vision-SR1(ICLR 2026, P35)通过推理分解和多奖励策略优化实现自奖励VLM训练,旨在解决VLM中的视觉幻觉和语言捷径问题。其核心设计是在RL训练中进行两次滚动:第一次生成包含视觉感知、CoT推理和答案的结构化输出,计算答案奖励;第二次进行自奖励评估。该方法基于GRPO算法,通过组相对优势计算来稳定训练,无需价值网络。Vision-SR1放弃了单一答案奖励的稀疏监督,转而依赖模型自身生成的结构化反馈,代价是增加了推理滚动的计算开销。其在领域中的影响在于提供了一种无需外部标注的自改进范式,显著提升了VLM在复杂推理任务中的视觉接地能力。
Perceval(Min et al., 2026, P25)提出感知中心的过程奖励模型,作为外部细粒度评判者指导VLM策略,解决复杂视觉推理中多步思维链的脆弱性问题。其核心模块是错误发现模式设计,给定图像、文本查询和模型响应,Perceval生成结构化错误检测,识别感知或逻辑错误。该方法将PRM与RLVR集成,通过创建token级惩罚掩码计算细粒度token级优势,从而惩罚幻觉token并改善感知接地。Perceval针对Vision-SR1自奖励可能存在的偏差问题,引入了外部评判模型,但依赖外部评判模型的准确性,若评判模型存在偏差可能误导策略优化。
感知验证自训练(Sharma et al., 2026, P31)通过引入PerceptEval模块评估生成字幕的保真度,提升VLM推理能力。PerceptEval依赖两个互补反馈信号:一是测量模型生成字幕与OCR提取文本的相似度,确保字幕忠实捕捉图像中的文本内容;二是计算字幕与图像之间的FG-CLIP相似度,提供整体视觉一致性评估。该方法将验证后的字幕作为视觉接地,指导模型回答多选项问题。感知验证自训练假设OCR和CLIP相似度能有效代理感知质量,可能在复杂视觉场景中失效,但其提供了一种低成本的感知接地增强策略。
Saliency-R1(Gong et al., 2026, P22)通过显著性图对齐奖励强制VLM产生可解释且忠实的视觉-语言推理。其核心设计是测量推理过程中生成的显著性图与标注地面真实之间的对齐度,以此评估忠实性。该方法设计了既忠实又计算高效的显著性图技术,利用logits分解和注意力滚动反映从思维过程到最终答案的整个推理轨迹。Saliency-R1放弃了传统的梯度显著性方法,转而使用基于注意力滚动的近似,以平衡计算成本与忠实度。感知推理协同优化路线通过多维奖励信号平衡感知忠实性与推理正确性,有效缓解了视觉幻觉和语言捷径问题,与内部机制可解释性路线在因果解释层面形成互补。
2.3 推理忠实性评估
推理忠实性评估路线旨在构建基准与指标,评估VLM推理链的视觉忠实度、因果一致性及证据对齐,揭示感知与推理脱节问题。该路线的起源可追溯至2024年POPE基准的提出,但真正的范式转变发生在2025-2026年,研究重心从单纯的准确率评估转向“过程可验证性”。TRACE(Imani et al., 2025, P10)旨在诊断VLM的推理轨迹而非仅评估最终答案的正确性,通过引入辅助推理集将复杂问题分解为紧凑的子问题-答案对。其核心机制是利用一致性指标评估中间步骤,从而暴露标准评估中容易被忽视的静默失败模式。TRACE定义了置信区域以区分不同质量的推理过程,并建立了中间步骤一致性与最终答案正确性之间的关联。该方法解决了传统评估无法定位多步多模态推理中具体失败位置的难题,为模型改进提供了可操作的信号。
ViLCaR(Pratama et al., 2026, P18)引入了视觉-语言因果图,这是一种结构化的查询条件表示,显式编码了因果相关的对象、属性、关系和场景接地假设。基于此表示,ViLCaR构建了包含因果归因、因果推断和问答任务的诊断基准,并设计了图对齐评估指标。其核心创新在于将因果推理能力与预测准确性解耦,旨在识别模型是依赖虚假视觉线索还是真正的因果推理。ViLCaR针对TRACE仅关注一致性而忽略因果结构的短板,提供了评估VLM因果推理能力的结构化范式,促使研究者关注推理过程的因果一致性而非仅关注输出结果。
ViEBench(Li et al., 2026, P15)通过隔离视觉定位与逻辑推理的相互作用,将VLM评估从结果导向的黑盒转变为过程可验证的诊断框架。其核心设计是双轴能力审计,沿推理完整性和接地精度两个正交维度评估模型,允许研究者解耦模型定位证据的能力与解释证据的能力。ViEBench提供了专家标注的边界框作为视觉证据,支持精确的过程评估,并涵盖零售、城市、工业和日常四个真实场景。该方法通过解构性能为诊断象限,识别了标准准确率指标通常掩盖的具体失败模式。
视觉忠实性评估方法(Uppaal et al., 2025, P13)针对推理型VLM中的幻觉问题,提出了在推理轨迹生成过程中进行干预的评估框架。其核心思路是检测推理步骤中的视觉不忠实性,并通过重试机制限制无界重新生成,避免不必要的推理成本。研究指出90%的成功修正发生在三次重试内,因此额外的尝试收益甚微。该方法比较了多种干预时机,包括SAPLMA、HaloScope、kNN、提示和辅助模型,揭示了7B VLM在幻觉检测上的挑战。其技术定位在于将视觉忠实性评估嵌入推理过程,而非仅评估最终输出,强调了中间步骤视觉接地的重要性。
步骤级视觉接地忠实性评估(Rahman et al., 2026, P20)提出步骤级视觉接地忠实性(SGR)指标,用于预测长时程VLM在分布外场景中的泛化能力。其核心设计是评估模型在视频问答、具身导航和指令跟随等长时程任务中,每一步推理是否真正依赖于视觉输入。通过覆盖从151M到GPT-4o规模的多代模型,该方法进行了容量受控的比较,测试SGR是否捕捉了超越整体模型强度的行为属性。其创新在于将视觉接地评估从单帧扩展到时间序列,揭示了最终答案正确性无法反映推理过程视觉依赖性的问题。
视觉重检查探针(Shi et al., 2026, P26)通过操纵视觉输入与推理上下文之间的一致性,揭示VLM中视觉重检查的幻觉。其核心机制是两阶段评估:第一阶段标准推理生成基于原始图像的推理链;第二阶段重检查探针在添加反思提示的同时,将原始图像替换为视觉上相似但语义不同的替代图像。模型在条件于替代图像、问题和结合上下文的情况下继续生成,以检测其是否真正重新检查了视觉内容。该方法发现模型尽管声称要重新检查图像,但往往未能检测到视觉差异,而是基于过时的上下文给出错误答案。其技术定位在于区分语言流畅性与真正的视觉接地,揭示了VLM在自我反思过程中视觉更新能力的缺失。推理忠实性评估路线通过过程级诊断暴露“静默失败”,为优化路线提供了可操作的改进信号,与感知推理协同优化路线形成闭环。
2.4 鲁棒性与偏差诊断
鲁棒性与偏差诊断路线旨在分析VLM在视觉干扰、分布偏移、语义捷径及偏见下的脆弱性,评估模型在复杂真实场景中的稳定性。该路线的起源可追溯至对VLM幻觉问题的早期研究,但真正的系统化诊断始于2025-2026年,研究重心从单纯的准确率评估转向“鲁棒性验证”。MATS(Thube, 2025, P1)用于测量VLM在协调文本和图像扰动下的一致性,研究病理真理偏差,即VLM同意明显虚假视觉陈述的倾向。其核心设计是通过最小扰动将同意偏差问题转化为可测量的一致性指标,促进可重复的跨模型比较和真实空间推理评估。该方法发现指令微调生成VLM显示灾难性的低空间一致性分数和高错误同意率,而对比编码器则表现出更高的鲁棒性。MATS的创新在于结合激活修补技术诊断原因,发现修补在LLaVA中成功恢复正确输出的比例较高,且最大因果效应集中在中后期交叉注意力层。
VRIQ(Khezresmaeilzadeh et al., 2026, P16)旨在评估VLM的视觉推理IQ,包含五个主要IQ问题类别,涵盖抽象和自然推理问题,实现跨视觉领域的直接性能比较。其核心设计是分层评估框架,结合特定的感知和推理探针问题,实现跨亚感知和推理任务的细粒度诊断,揭示精确的失败模式。该方法将失败定位到提取任务相关视觉事实(感知)与应用给定事实的底层规则(推理)两个层面。VRIQ的创新在于将视觉推理能力分解为可独立评估的子技能,避免了整体准确率的掩盖效应。
RL失败模式发现框架(Jain et al., 2026, P23)利用强化学习自动发现VLM的失败模式或盲点,解决手动识别成本高、不可扩展且受人类偏见影响的问题。其核心设计是将失败模式发现建模为RL问题,通过奖励函数引导代理探索模型表现不佳的输入区域。该方法能够识别人类容易忽略的细微细节,提供对模型脆弱性的完整理解。RL失败模式发现框架针对MATS和VRIQ依赖人工设计扰动的局限,提供了可扩展的VLM脆弱性发现工具,为模型鲁棒性改进提供了数据驱动的支持。
报告偏差影响分析(Kamath et al., 2026, P19)研究视觉-语言数据中的报告偏差对VLM推理的影响,假设模型在计数、空间推理和组合推理上的差距源于数据中系统性省略特定信息类型。其核心设计是利用语言学、语用学和认知科学成果,分析网络语料库中空间介词等信息的缺失如何导致模型偏差。该方法通过修改现有基准,评估对比和生成VLM在空间推理、计数等任务上的表现,揭示规模无法克服语用学限制的现象。报告偏差影响分析将数据偏差与模型推理失败建立因果联系,强调了数据质量对推理能力的基础性影响。
视觉错觉感知与推理分析(Zhao et al., 2026, P32)分析LVLM在视觉错觉任务中的感知和推理能力,评估其揭示视觉错觉背后真相的能力。其核心设计是设计问题以测试模型对空间悖论和光学错觉的理解,区分感知错误与推理错误。该方法发现LVLM在视觉错觉任务中表现有限,往往依赖表面视觉线索而非深层物理或几何原理。视觉错觉感知与推理分析将视觉错觉作为探针,揭示模型在感知与推理解耦方面的缺陷。
语义视觉干扰鲁棒性评估(Sun et al., 2026, P28)评估推理VLM对语义视觉干扰的鲁棒性,研究模型在存在语义相关但无关视觉元素时的推理稳定性。其核心设计是构建包含语义干扰项的基准,测试模型是否真正接地于任务相关视觉证据,而非被语义相似但无关的元素误导。该方法发现推理VLM在语义干扰下性能显著下降,表明其推理过程易受语义先验影响。语义视觉干扰鲁棒性评估区分了视觉干扰与语义干扰,揭示了推理模型在语义层面的脆弱性。鲁棒性与偏差诊断路线通过系统性脆弱性评估,为优化路线提供了鲁棒性改进的目标,与推理忠实性评估路线在过程诊断层面形成互补。
2.5 跨任务与多领域应用
跨任务与多领域应用路线聚焦自动驾驶、机器人操作及医疗等垂直领域,评估VLM在时空推理、动作规划及安全关键任务中的表现。该路线的起源可追溯至VLM在通用问答任务上的成功,但真正的垂直领域应用始于2025-2026年,研究重心从单纯的准确率评估转向“安全关键任务验证”。VLA-R1(Ye et al., 2025, P3)通过增强推理能力改进视觉-语言-动作模型,旨在提升机器人操作中的泛化性。其核心设计是多模态解码器联合推理视觉线索、文本上下文和时间历史,生成包含推理段和动作预测的结构化输出。该方法将推理轨迹显式化,使中间步骤可见,而动作输出表示在离散token空间。VLA-R1的创新在于将CoT推理与动作预测统一在单一架构中,实现了感知、语言和动作的端到端优化。
SOLE-R1(Schroeder et al., 2026, P21)将视频-语言推理作为机器人在线强化学习的唯一奖励,旨在从基础模型监督中获取新技能。其核心设计是两阶段混合训练:SFT教授高质量CoT推理,RLVR直接强调准确的进度预测,因为最终答案在响应token中占比小。该方法生成1.2M时空CoT轨迹,结合基础空间和多帧时间推理数据,微调Qwen3-VL-8B-Instruct。SOLE-R1的创新在于将视频推理作为密集奖励信号,替代了传统的手工程奖励函数。
DeepThinkVLA(Yin et al., 2025, P6)通过增强推理能力改进视觉-语言-动作模型,旨在解决反应式策略在环境扰动或分布外条件下的泛化问题。其核心设计是引入CoT推理模块,支持完整CoT和掩码CoT两种推理模式,通过RL对齐提升推理质量。该方法在LIBERO基准上评估,发现RL对齐显著提升了OOD限制下的成功率,减少了性能下降。DeepThinkVLA的创新在于将推理过程与动作执行解耦,允许模型在复杂环境中进行深思熟虑的决策。
DEFT-RLVR(Huang et al., 2026, P33)针对自动驾驶VLM,提出延迟暴露未来轨迹以实现可验证推理。其核心设计是打破轨迹锚点,通过预生成保持监督,利用选项验证器和判断器生成奖励信号。该方法构建了AD-MCQ数据集,评估模型在驾驶决策中的推理能力,发现DEFT-RLVR显著提升了驾驶特定推理和一般视觉能力。DEFT-RLVR的创新在于将轨迹预测与推理验证结合,解决了CoT监督依赖地面真实轨迹的问题。
MASS(Wu et al., 2025, P7)通过运动感知时空接地提升VLM的物理推理和理解能力,旨在解决模型在复杂视觉线索涉及3D空间布局、运动模式和时间动态时的困难。其核心设计是将物理世界上下文线索转化为与VLM感知、理解和推理对齐的可解释表示,通过基于深度的3D编码和视觉接地,结合运动跟踪器处理物体动态。该方法贡献了MASS-Bench基准,包含4350个真实和AIGC视频及8361个自由形式视频问答对。MASS的创新在于将物理动态信号注入VLM语言空间,提升了模型对物理原则的内部化。
医疗VLM接地性评估(Felizzi et al., 2025, P8)通过意大利临床视觉问答评估大型VLM在医疗图像中的真正接地性,质疑高基准分数是否掩盖了模型处理视觉信息与临床推理整合的基本局限。其核心设计是手动策划60个需要视觉解释才能正确诊断的多选项问题,涵盖心脏病学、骨科、皮肤病学等领域。该方法通过压力测试揭示模型是否依赖虚假相关和文本捷径,而非真正的多模态理解。医疗VLM接地性评估将临床诊断任务作为探针,评估VLM在安全关键领域的可靠性。跨任务与多领域应用路线通过垂直领域验证,揭示了通用VLM在安全关键任务中的接地性缺陷,为优化路线提供了鲁棒性改进的具体场景,与鲁棒性与偏差诊断路线在脆弱性评估层面形成互补。
3. 关键共识、分歧与开放问题
3.1 领域共识
仅依赖最终答案准确率的评估范式是不充分且具有误导性的,必须引入对中间推理步骤和视觉证据的细粒度评估。这一共识在多个基准上被反复验证:Agent0-VL在MathVista的75.6%与HallusionBench的72.9%均大幅超越GPT-4o的54.47%和66.4%,但这一优势部分源于过程级推理机制而非单纯准确率提升。与此相关的另一个共识是VLM普遍存在“语言主导”现象,即模型倾向于利用文本先验而非视觉输入来回答问题,这是导致幻觉和推理失败的主要原因之一。MATS(Thube, 2025, P1)通过扰动一致性测量,发现指令微调生成VLM显示灾难性的低空间一致性分数和高错误同意率,而对比编码器则表现出更高的鲁棒性,这一发现从机制层面证实了语言先验的主导地位。
Chain-of-Thought (CoT) 能提升复杂任务性能,但其生成的解释往往是事后合理化(Post-hoc Rationalization),并不总是反映真实的决策过程。TRACE(Imani et al., 2025, P10)通过一致性指标评估中间步骤,揭示了正确答案可能由错误中间步骤支撑的现象,视觉重检查探针(Shi et al., 2026, P26)进一步发现模型在自我反思时未能真正重新检查视觉内容,而是基于过时的上下文给出错误答案。Reinforcement Learning with Verifiable Rewards (RLVR) 是提升VLM推理能力的有效手段,但需警惕其对基础感知能力和通用能力的潜在负面影响。Ariadne(Shen et al., 2025, P5)通过合成迷宫任务显示RLVR在特定难度区间能产生新解,但在其他区间仅优化采样,这一发现揭示了RLVR在能力扩展与策略优化之间的复杂权衡。
3.2 观点分歧
视觉幻觉的根源是感知编码失败还是决策仲裁失败,是领域内的核心分歧。观点A认为幻觉源于视觉编码器未能正确提取特征(感知盲点),代表方法为早期视觉增强研究;观点B认为幻觉源于内部融合机制中视觉信号权重不足,在仲裁过程中输给语言先验(仲裁失败),代表方法为仲裁失败机制分析(Nooralahzadeh et al., 2026, P24)。现有证据偏向观点B,P24通过Logit Lens和激活修补发现视觉信息已被编码,但在决策层被语言先验覆盖。然而,这一证据强度中等,依赖保守的匹配协议,且缺乏跨架构的普适性验证,需更多因果干预实验。
这一分歧的背后,是另一个更根本的争论:RLVR的作用机制是扩展推理边界还是仅优化采样效率。观点A认为RLVR能诱导新的空间/逻辑原语,扩展模型能力边界,代表方法为Ariadne(Shen et al., 2025, P5);观点B认为RLVR仅优化基础策略中潜在行为的采样效率,未获取新能力。证据偏向观点A,但存在争议。Ariadne通过合成迷宫任务显示RLVR在特定难度区间能产生新解,但在其他区间仅优化采样。证据强度较弱,依赖合成环境的可控性,真实世界任务复杂度高,难以像合成环境那样精确表征“推理边界”,缺乏标准化的能力扩展度量工具。
3.3 其他开放问题
最紧迫的工程问题是开发能够区分感知错误与推理错误的细粒度过程监督机制。当前评估多依赖最终答案准确率,无法诊断中间步骤的视觉接地失败;未来需通过步骤级奖励模型或过程验证器,提供token级或步骤级的反馈信号,以增强推理链的透明性与可靠性。Perceval(Min et al., 2026, P25)和Vision-SR1(ICLR 2026, P35)已在此方向取得进展,但实时性与计算效率仍是瓶颈。
最根本的研究问题是解决视觉-语言冲突中的仲裁失败与语言先验主导问题。模型常在视觉证据与语言先验冲突时偏向语言先验(如病理真值偏差);未来需通过架构改进(如跨模态投影层优化)或训练策略(如对比学习、反事实训练)来强化视觉信号的权重,确保推理基于真实视觉内容。仲裁失败机制分析(Nooralahzadeh et al., 2026, P24)提供了理论依据,但架构级解决方案尚未实现。
已知—争议—未知认知图谱显示:已知VLM存在语言主导现象与CoT事后合理化问题;争议幻觉根源是感知盲点还是仲裁失败,RLVR是能力扩展还是策略优化;未知架构级视觉-语言仲裁解决方案与主动感知机制的实现路径。发展趋势指向构建“感知-推理-评估”的闭环系统,核心问题是如何在架构与训练层面解决视觉-语言仲裁失败,并实现过程级的可验证性与鲁棒性。
4. 总结与展望
VLM推理领域的核心矛盾在于语言先验的主导地位与视觉证据的必要性之间的冲突。早期研究假设视觉编码器能完美提取特征,但后续发现语言模型对视觉信号的压缩与先验干扰导致了“仲裁失败”。问题结构从单一的问答任务演变为包含感知接地、逻辑推理、因果归因的多层依赖系统。当前瓶颈并非模型容量,而是感知与推理的耦合机制缺乏透明性,导致“静默失败”难以诊断。这一矛盾促使研究从黑盒结果评估转向白盒机制解释与过程级奖励优化,形成了评估、优化与解释并存的多元格局。
未来可能突破的方向包括:开发能够区分感知错误与推理错误的细粒度过程监督机制,Perceval(Min et al., 2026, P25)和Vision-SR1(ICLR 2026, P35)已在此方向取得进展;构建能够自主检索未明确提及视觉证据的代理式推理框架,VLA-R1(Ye et al., 2025, P3)和SOLE-R1(Schroeder et al., 2026, P21)提供了具身智能中的推理与动作协同优化范式;解决视觉-语言冲突中的仲裁失败与语言先验主导问题,仲裁失败机制分析(Nooralahzadeh et al., 2026, P24)提供了理论依据。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,构建过程级忠实性评估基准,以区分真实推理与幸运猜测,为架构级视觉-语言仲裁解决方案提供可操作的改进信号。
以上为节选,完整内容见ArxivReview