导读
视觉定位(Visual Grounding)旨在建立自然语言描述与图像特定区域之间的精确对应,是多模态大语言模型(MLLMs)连接语言语义与视觉证据的基础能力。早期研究聚焦于指代表达理解(REC)任务,通过专用检测头在封闭集基准上追求定位精度,思路清晰却受制于分辨率与开放词汇泛化能力。随着 MLLMs 的兴起,定位被重构为自回归坐标生成或掩码预测任务,模型得以利用语言推理能力处理复杂空间关系,但同时也暴露出细粒度感知不足与累积误差等新瓶颈。当前研究围绕推理增强、免训练策略与像素级扩展三条主线展开,各路线在精度、效率与通用性之间做出了不同取舍。本综述梳理这条从静态识别到动态交互的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
视觉定位的核心任务是根据自然语言描述在图像中定位特定区域或对象,其经典形式为指代表达理解(REC),要求模型根据短语或句子定位单一目标。在 MLLMs 出现之前,该任务主要依赖两阶段检测器或基于 Transformer 的端到端架构,在 RefCOCO 等基准上取得了显著进展。然而,随着 MLLMs 的兴起,领域范式发生了根本性转变:从传统的专用定位头转向将定位视为自回归坐标生成或掩码预测任务。这一转折使得 MLLMs 能够利用其强大的推理能力处理复杂的空间关系和指代消解,但也引入了新的技术挑战。
问题形式化上,REC 任务通常定义为:给定图像 $I$ 和指代表达 $Q$,模型需预测目标区域的边界框 $B$ 或掩码 $M$。在 MLLMs 框架下,这被转化为自回归生成问题,即模型依次生成坐标 token 或掩码 token。子问题之间存在明确的依赖关系:细粒度感知是基础瓶颈,若不解决高分辨率下的局部细节丢失,推理增强和像素级扩展均无法实现高精度;推理增强依赖于可靠的视觉证据提取,而像素级扩展则是解决边界框粒度粗糙问题的必要延伸。
2014 年,Kazemzadeh et al. 提出的 ReferItGame 确立了视觉定位任务中语言与视觉区域对应的基础范式,为后续 RefCOCO 系列数据集的构建提供了原始数据支撑。2016 年,RefCOCO/+/g 基准基于 Visual Genome 构建,定义了单目标定位的核心评测协议,成为衡量视觉定位模型性能的事实标准。2021 年,MDETR 基于 DETR 架构实现了端到端视觉定位,摆脱了传统两阶段方法对预训练检测器的依赖,为后续基于 Transformer 的生成式定位奠定了架构基础。
2022 年,GLIP 将目标检测重构为定位问题,通过语言-视觉对比学习实现任意类别的定位,突破了封闭集检测的限制。2023 年,LISA 作为首个将大型语言模型与分割模型结合的视觉定位框架,通过工具调用机制实现从语言指令到像素级掩码的转换,开创了 MLLM 直接输出密集预测结果的新范式。2024 年,Grounding DINO 结合 DINO 检测器与 CLIP 语言编码器,在零样本定位任务中取得显著进展,成为当前许多 MLLM 定位模块的核心组件。
2025 年,GroundingME 基准系统评估了 25 个 SOTA 模型在细粒度感知与拒绝能力上的表现,揭示了现有模型在复杂场景下的局限性。同年,UniVG-R1 基于强化学习优化模型在复杂空间关系下的推理轨迹,展示了 RL 在视觉定位推理增强中的巨大潜力。2026 年,RGBT-Ground 基准引入热成像与 RGB 配对数据,填补了多模态视觉定位在真实环境评测中的空白;RGBX-R1 则通过视觉模态思维链引导的强化学习,实现了跨模态定位的统一优化。
如果用一个核心问题概括该领域,那便是:如何在保持多模态大语言模型通用推理能力的前提下,克服视觉编码器对局部空间细节的丢失,实现从粗粒度语义匹配到亚像素级、可解释且鲁棒的物理世界交互定位。
2. 方法体系
2014:ReferItGame——奠定交互式指代表达理解基准
2016:RefCOCO/+/g——确立单目标定位核心评测协议
2021:MDETR——实现端到端视觉定位架构
2023:LISA——开创 MLLM 直接输出像素级掩码范式
2024:Grounding DINO——结合检测器与语言编码器的开放词汇定位
2025:UniVG-R1——基于强化学习的统一视觉定位框架
2026:SimpleSeg——通过简单点预测实现像素级 VLM 感知
这条时间线勾勒了该领域方法演进的代表性节点:从 2014 年的 ReferItGame 奠定该领域方法基线,经 2016 年 RefCOCO/+/g 的推进,到 2026 年的 SimpleSeg 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 推理增强定位
推理增强定位路线旨在通过思维链(CoT)、强化学习(RL)及代理推理机制,提升 MLLMs 在复杂空间关系、多目标及否定语义下的逻辑推理与定位精度。该路线的核心假设是:定位错误往往源于推理逻辑的缺陷,而非单纯的感知不足。
RGBX-R1(Wu et al., 2026, P15)提出了一种视觉模态思维链(VM-CoT)引导的强化学习框架。该方法首先构建 RGBX-Grounding 数据集,涵盖 RGB、热成像、深度及事件相机等多模态数据,并生成对应的视觉模态思维链标注。训练过程分为冷启动监督微调(SFT)和时空强化微调(ST-RFT)两个阶段。其核心创新在于引入多模态思维链(MTW)机制,使模型能够显式地推理不同模态间的互补性与冗余性。RGBX-R1 通过规则奖励机制直接优化定位结果与推理过程的一致性,放弃了纯视觉特征的依赖,换取了可解释的推理轨迹,但引入了推理时间与定位质量波动的风险。
iVGR(Zhang et al., 2026, P25)则通过强化学习内化视觉定位推理,旨在解决现有模型在推理过程中依赖外部工具导致的性能下降问题。该方法区分了文本思维链与视觉定位思维链,发现后者在推理过程中往往因定位质量波动而损害整体性能。iVGR 通过两阶段训练策略,首先通过 SFT 建立视觉定位能力,随后利用 RL 将定位能力内化到模型参数中。其核心创新在于设计了特定的奖励函数,鼓励模型在生成推理轨迹时隐式地关注关键视觉区域,而非显式输出坐标。这种方法消除了对动态裁剪或边界框生成的依赖,简化了推理流程并提升了效率。
DiG(Tao et al., 2025, P9)提出了一种差分定位(Differential Grounding)代理任务框架,旨在通过识别相似图像对之间的所有视觉差异来增强 MLLMs 的细粒度感知能力。该方法利用基于 Blender 3D 渲染的自动化数据生成管道,产生具有完全可控差异的高质量配对图像。其核心创新在于引入了课程学习策略,从简单差异逐步过渡到复杂差异。DiG 通过 RL 优化目标,鼓励模型在开放式生成框架中准确识别并定位差异区域,提升了模型对细微视觉变化的敏感度。
ROVER(Lv et al., 2026, P24)提出了一种路由对象中心视觉证据的方法,旨在增强 MLLMs 在多图像推理中的定位能力。该方法通过引入路由 token 机制,在解码过程中动态选择并注入与当前推理步骤相关的局部视觉证据。其核心创新在于设计了轻量级的路由模块,能够根据文本上下文自动识别关键对象,并将对应的视觉 token 注入到语言模型解码器中。ROVER 保持了局部对象细节的同时,实现了跨对象和跨图像的视觉证据无缝路由。
GeM-VG(Zheng et al., 2026, P12)提出了一种面向通用多图像视觉定位的 MLLMs 框架,旨在解决现有模型局限于单图像场景的问题。该方法构建了包含多样化多图像定位任务的基准,涵盖了跨图像指代、全局关系推理等复杂场景。其核心创新在于设计了统一的定位接口,使模型能够处理可变数量的指代对象,并支持多目标与无目标情况的灵活应对。GeM-VG 通过 RL 进一步增强了模型的推理能力,使其能够解析复杂的跨图像指代关系。
推理增强路线与免训练策略路线形成互补:前者通过修改模型参数提升推理能力,后者通过推理时策略调整提升效率;前者在复杂场景下表现更优,后者在简单场景下更具成本效益。
2.2 高效免训练策略
高效免训练策略路线利用自适应路由、注意力机制、不确定性引导及模型合并等免训练或轻量级技术,在不修改权重前提下提升 MLLMs 的细粒度感知与定位效率。该路线的核心假设是:模型内在的注意力或不确定性信号已包含足够的定位线索,只需通过适当的策略激活即可。
LazyMCoT(Wang et al., 2026, P26)提出了一种基于自适应路由与协作定位的免训练视觉定位框架,旨在动态分配视觉定位努力以提升效率。该方法首先通过单 token 前向传播获取直接答案及统计量,利用自适应路由模块评估样本难度,简单样本直接输出答案,复杂样本则进入协作定位阶段。其核心创新在于协作定位模块,该模块整合注意力分支与视觉专家,构建局部面板显示,用于精确的 VLM 重新查询。LazyMCoT 通过这种动态机制,避免了在简单任务上浪费计算资源,同时在复杂任务上提供精细的视觉聚焦。
Simple-VGC(P32)提出了一种通过自适应工具组合增强多模态推理中视觉定位的免训练框架。该方法利用系统提示定制,逐步激活视觉定位工具,包括重用、放大(zoom_in)及聚焦区域(focus_area)等操作,以累积提升定位性能。其核心创新在于揭示了不同工具对定位性能的差异化贡献,特别是 focus_area 操作在提升区域级对齐方面的关键作用。Simple-VGC 通过这种模块化的工具组合策略,使模型能够根据任务需求动态选择最合适的视觉增强手段。
PlaM(P31)提出了一种基于高原引导的模型合并(Plateau-guided Model Merging)免训练方法,旨在提升 MLLMs 的视觉定位能力。该方法首先通过层级视觉 token 掩码程序,表征视觉信息在解码器深度中的利用情况,识别性能高原区域。其核心创新在于根据层级表征,选择性地将基础语言模型参数合并到微调后的 MLLM 特定层中,同时防止后续层关注视觉 token。PlaM 通过这种精细化的参数合并策略,恢复了 MLLM 在视觉定位任务中可能丢失的语言推理能力,解决了多模态指令微调导致的文本推理退化问题。
UG(Kim et al., 2025, P2)提出了一种基于不确定性引导的免训练框架,旨在增强 MLLMs 在复杂视觉任务中的细粒度感知能力。该方法核心原则是主动最小化模型内在不确定性作为定位显著视觉输入的有效策略,通过计算视觉输入的不确定性指标进行评分。其核心创新在于“评分-然后-回答”机制,该机制将图像划分为候选裁剪区域,利用 MLLM 计算每个区域的不确定性分数,选择高分区域进行精细处理。UG 框架适用于视觉搜索、长视频理解及时间定位等多种定位挑战。
ActiveScope(Wang et al., 2026, P27)提出了一种主动寻求与纠正感知的框架,旨在解决 MLLMs 在细粒度视觉理解中的局限性。该方法结合了训练基础与免训练范式,通过动态分辨率适应与“定位-然后-放大”机制,增强模型对小对象或复杂细节的感知能力。其核心创新在于主动感知策略,模型能够根据查询需求主动定位关键区域,并通过裁剪或放大操作增强局部细节,同时纠正初始感知中的错误。
免训练策略路线与像素级扩展路线形成竞争:前者追求效率与通用性,后者追求精度与交互性;前者适用于资源受限场景,后者适用于精细交互场景。
2.3 像素级定位扩展
像素级定位扩展路线将定位粒度从边界框扩展至像素级分割、关键点及部件级定位,通过轻量解码器或统一架构实现密集视觉预测与精细交互。该路线的核心假设是:边界框粒度不足以支持精细的视觉交互,像素级定位是提升模型空间理解精度的必要方向。
Qwen3-VL-Seg(Yao et al., 2026, P22)提出了一种解锁开放世界指代分割的视觉语言定位模型,旨在桥接粗粒度定位与精细像素分割之间的差距。该方法利用预训练 MLLM 生成的定位边界框作为结构先验,指导密集掩码解码器生成像素级分割结果。其核心创新在于设计了 box-guided mask decoder 架构,通过轻量级空间适配器丰富中间 ViT 特征,并结合多模态视觉嵌入形成密集记忆表示。解码器通过联合编码语言语义与框几何构建对象查询,从而恢复精细的像素级边界。
SimpleSeg(Song et al., 2026, P14)提出了一种通过简单点预测实现像素级 VLM 感知的框架,旨在探索 MLLMs 原生像素级感知的极限。该方法摒弃了复杂的架构或特殊模式,直接让 MLLM 预测轮廓上的下一个点,通过序列生成方式实现像素级分割。其核心创新在于证明了最小化的点预测策略即可实现有效的像素级定位,无需引入额外的分割头或复杂的解码器。SimpleSeg 通过这种简洁的方式,揭示了 MLLM 在密集预测任务中的潜在能力。
LENS(Liu and Chen, 2025, P4)提出了一种将分割作为即插即用能力赋予冻结 MLLMs 的架构,旨在在不修改 MLLM 核心参数的前提下实现像素级分割。该方法由轻量级头、关键点提取与描述模块以及掩码解码器组成,利用 MLLM 内部注意力图中的关键点作为桥梁,内在统一各个阶段。其核心创新在于使用关键点作为视觉-语言对齐的中间表示,既保留了 MLLM 的语义理解能力,又实现了密集的像素级预测。
MolmoPoint(Clark et al., 2026, P20)提出了一种通过定位 token 增强 VLMs 指向能力的框架,旨在提升视觉语言模型在机器人交互与 GUI 操作中的定位精度。该方法训练模型直接选择包含目标对象的视觉 token,并通过生成额外 token 细化位置,实现了从粗粒度 patch 到细粒度 subpatch 的定位过程。其核心创新在于引入了 、 及 等定位 token,通过 RoPE 位置编码与视觉特征交互,实现了高效且精确的点预测。
VGent(Kang et al., 2025, P8)提出了一种通过模块化设计解耦推理与预测的视觉定位框架,旨在解决自回归 MLLMs 在多目标定位中推理时间与性能线性增长的问题。该方法由编码器、解码器及检测器组成,编码器使用 QuadThinker 范式增强多目标推理能力,解码器采用 mask-aware label,检测器引入全局目标识别。其核心创新在于显式分离高层多模态推理与低层像素级定位,通过模块化组件协同工作,提升了多目标定位的效率与准确性。
像素级扩展路线与推理增强路线形成继承关系:前者为后者提供更精细的视觉证据,后者为前者提供更可靠的推理逻辑;两者结合可实现可解释的像素级推理路径。
2.4 领域应用与鲁棒性
领域应用与鲁棒性路线针对医疗、GUI、文档及复杂环境(如遮挡、小目标)等特定场景,优化 MLLMs 的视觉定位能力,解决领域偏差、语义混淆及环境干扰问题。该路线的核心假设是:通用模型在垂直领域面临独特挑战,需要领域特定的数据增强或架构调整。
LocAnyMed(Wang et al., 2026, P28)提出了一种面向多模态医学图像的视觉语言定位模型,旨在解决传统医学检测器在开放词汇查询下的局限性。该方法统一了 CT、光学等多种医学影像的定位任务,通过自由形式文本查询映射到对应图像区域,支持解剖结构、病变及异常发现的定位。其核心创新在于构建了统一的开放词汇定位框架,克服了封闭集检测器无法处理任意临床查询的问题,提升了定位的灵活性与通用性。
Robust Grounding(Park et al., 2026, P21)提出了一种通过语言引导语义线索增强 MLLMs 在遮挡与小对象场景下定位鲁棒性的方法。该方法采用 ChatRex-7B 作为基线,利用解耦定位范式,通过图像编码器提取特征,区域提议器预测对象区域,区域编码器提取对象特征。其核心创新在于引入语言引导的语义线索,帮助模型在拥挤场景中区分目标与背景,抑制无关上下文信息的干扰。
GUI Agent Training Pipeline(Pantazopoulos and Özyiğit, 2025, P5)提出了一种高效的训练管道,旨在提升图形用户界面(GUI)代理的视觉定位与推理能力。该方法利用 VLM 对合成生成的 GUI 数据集进行评分,将样本划分为简单与挑战性案例,训练排序器以过滤噪声实例。其核心创新在于通过数据过滤与排序机制,提升了训练数据的质量,使模型能够更准确地定位 GUI 元素并执行点击等操作。
TempoGround(Ding et al., 2026, P30)提出了一种状态感知的流式视觉定位框架,旨在解决 VLMs 在因果流式输入下的连续跟踪与定位问题。该方法定义了流式视觉定位设置,其中语言查询给定,图像增量到达,模型需连续跟踪匹配对象并生成 2D/3D 边界框。其核心创新在于引入了状态感知机制,模型能够根据历史观察更新对象状态,实现跨帧的连续定位与跟踪。
Mastering Negation(Yang et al., 2026, P18)提出了一种通过分组对立学习增强定位模型否定语义理解的方法,旨在解决现有模型在处理否定表达时的性能下降问题。该方法构建了 D-Negation 数据集,利用 GPT-4V 作为标注工具,通过精心设计的提示生成高质量硬负样本与否定语义样本。其核心创新在于引入分组对立学习机制,通过对比正负样本的语义差异,增强模型对否定逻辑的理解与定位能力。
领域应用路线与其他路线形成互补:前者提供特定场景的数据与架构优化,后者提供通用的推理与感知能力;两者结合可实现垂直领域的高性能定位。
2.5 跨任务与多领域应用
跨任务与多领域应用路线旨在将视觉定位能力扩展至多种任务与领域,包括交互式定位、农业定位、医学定位等。该路线的核心假设是:视觉定位是连接语言与视觉的基础能力,应支持多种下游任务。
Interactive Visual Grounding Benchmark(Wang and Rambow, 2026, P29)构建了一个交互式视觉定位基准,旨在评估大型视觉语言模型在多轮对话中的定位能力。该基准突破了传统静态定位任务假设指代表达已充分信息的局限,引入了澄清问题、反馈及跨轮次整合机制。通过模拟 Matcher 与 Describer 之间的交互过程,模型需要在部分可观察性下通过多轮交流建立共同基础,最终确定目标区域。
AgroVG(Li et al., 2026, P23)构建了一个大规模多源农业视觉定位基准,旨在评估 AI 系统在复杂作物环境中执行人类指令的能力。该基准整合了来自不同来源的农业视觉数据,涵盖了作物-杂草分割、果实检测、植物表型分析及病虫害识别等多种任务。其核心创新在于引入了实例级定位协议,要求模型不仅识别目标存在,还需精确定位满足自然语言描述的所有有效实例,并在目标缺失时进行拒绝。
VGMED(Liu et al., 2026, P19)提出了一个专注于医学图像视觉定位的基准与诊断框架,旨在揭示医学 MLLMs 在视觉定位中的失败模式。该基准整合了多种医学影像数据集,包括放射学、病理学及临床诊断图像,构建了大规模的医学视觉定位评测集。其核心创新在于引入了 VGRefine 方法,通过注意力机制优化模型对关键医学区域的聚焦能力,提升了细粒度定位精度。
跨任务应用路线与基准评测路线形成反馈关系:前者提供应用场景,后者提供评测标准;两者结合可推动视觉定位技术在真实世界中的落地。
3. 关键共识、分歧与开放问题
3.1 领域共识
MLLMs 在经典 REC 基准上已达到较高准确率(>90%),但其在细粒度空间推理、复杂关系理解和开放词汇场景下的表现仍显著落后于人类水平。这一共识在多个基准上被反复验证:EGM 的 91.4 与 Qwen3-VL-8B 的 90.5 均大幅超越 MAML 的 48.70(支撑证据:P13)。然而,在 HR-Bench 8K 和 MME-RealWorld-Lite 等挑战性基准上,性能仍有巨大提升空间,iVGR 的 82.9 与 HART 的 62.4 分别代表了当前最高水平(支撑证据:P25, P16)。
与此相关的另一个共识是,将视觉定位整合到 MLLMs 的推理过程中(Grounded Reasoning)能显著提升模型在 VQA 和复杂任务上的性能。通过显式定位增强视觉依赖性,模型能够更准确地解析复杂的空间关系和指代逻辑(支撑证据:P15, P25)。此外,传统的边界框粒度不足以支持精细的视觉交互,像素级分割或点定位是提升模型空间理解精度的必要方向。Qwen3-VL-Seg 和 SimpleSeg 在开放词汇分割和像素级感知上的表现证明了这一方向的有效性(支撑证据:P22, P14)。
3.2 观点分歧
自回归坐标生成与专用解码器之间的分歧是领域内的核心争论。观点 A 认为自回归生成是 MLLMs 的原生能力,应保持统一性;观点 B 认为专用解码器能提供更精确的几何建模,应解耦推理与预测。现有证据偏向观点 B 在高分辨率和像素级任务上的优势,Qwen3-VL-Seg 在开放词汇分割上显著优于纯自回归方法,VGent 在多目标定位上效率更高(支撑证据:P22, P8)。但观点 A 在简单场景和通用性上仍有优势,缺乏统一的评测协议来公平比较两种范式在“推理-定位”联合任务上的表现。
这一分歧的背后,是另一个更根本的争论:RL 与 SFT 在定位推理中的有效性。观点 A 认为 RL 通过可验证奖励直接优化定位结果,优于 SFT;观点 B 认为 SFT 更稳定,且 RL 的奖励设计复杂,可能引入偏差。在复杂推理任务(如多目标、否定语义)上,RL 方法(如 UniVG-R1)表现更优,但在基础感知任务上,SFT 方法(如 Qwen2.5-VL)仍具竞争力(支撑证据:P15, P13)。RL 的训练成本和稳定性是主要障碍,奖励函数设计尚不统一,不同奖励设计可能导致不同的优化方向。
3.3 其他开放问题
当前领域的开放问题可分为工程问题与研究问题。工程问题包括高分辨率图像的计算效率、多模态(RGB-T)的对齐机制、垂直领域(医学/农业)的数据稀缺性。这些问题的解决路径相对清晰,主要依赖数据增强与架构优化。例如,RGBT-Ground 基准的引入为多模态对齐提供了评测标准,LocAnyMed 的统一框架为医学领域数据稀缺性提供了解决方案(支撑证据:P11, P28)。
研究问题包括语言空间各向异性与定位失败的因果关系、流式定位中的跨帧对象对应、以及模型在反事实扰动下的鲁棒性。这些问题缺乏明确的理论框架,需要新的评测工具与理论分析。例如,TempoGround 提出的状态感知机制为流式定位提供了初步解决方案,但跨帧对象对应的复杂性仍需进一步研究(支撑证据:P30)。已知—争议—未知认知图谱显示,领域在“定位是推理的基础”上已形成共识,但在“如何实现最优定位”上存在显著分歧,未来突破将依赖于多模态融合的深化、推理机制的内化,以及评测体系从“结果导向”向“过程导向”的根本转变。
4. 总结与展望
视觉定位在 MLLMs 中的演进,本质上是模型从“被动识别”向“主动交互”的认知跃迁。尽管在细粒度感知和推理一致性上取得了显著进展,但领域仍面临开放世界鲁棒性与计算效率的双重挑战。核心瓶颈在于如何在保持通用推理能力的前提下,克服视觉编码器对局部空间细节的丢失,实现从粗粒度语义匹配到亚像素级、可解释且鲁棒的物理世界交互定位。
未来可能突破的方向包括:1) 开发基于分割掩码的推理追踪机制,实现可解释的像素级推理路径;2) 探索免训练方法中注意力信号的深层利用,突破当前“精度-效率”的权衡瓶颈;3) 构建面向特定领域的专业化定位基准和模型,解决领域数据稀缺性问题。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下重评测代表性方法,以 Meta-Dataset 多域协议为主基准,建立公平的比较框架。
以上为节选,完整内容见ArxivReview