A Survey of Vision-Language-Action Models for Robotic Manipulation |视觉-语言-动作模型综述

简介: 视觉-语言-动作模型(Vision-Language-Action,VLA)旨在将自然语言指令直接映射为机器人连续控制信号,其核心价值在于突破传统策略在复杂非结构化环境中泛化能力差的瓶颈。早期研究以离散化动作为主线,通过Transformer序列建模实现端到端映射,思路简洁却受制于控制频率低与动作不连续。当精细操作与高频控制需求暴露出离散Token的精度缺陷后,研究者引入流匹配(FlowMatching)与扩散机制,用连续动作生成换取控制平滑性与实时性。随着跨本体数据集与多模态感知(触觉、事件相机)的引入,领域重心从单纯的动作预测转向增强物理接地、长程时序一致性及分布外鲁棒性。

综述原文见 www.arxivreview.com

导读

视觉-语言-动作模型(Vision-Language-Action, VLA)旨在将自然语言指令直接映射为机器人连续控制信号,其核心价值在于突破传统策略在复杂非结构化环境中泛化能力差的瓶颈。早期研究以离散化动作为主线,通过 Transformer 序列建模实现端到端映射,思路简洁却受制于控制频率低与动作不连续。当精细操作与高频控制需求暴露出离散 Token 的精度缺陷后,研究者引入流匹配(Flow Matching)与扩散机制,用连续动作生成换取控制平滑性与实时性。随着跨本体数据集与多模态感知(触觉、事件相机)的引入,领域重心从单纯的动作预测转向增强物理接地、长程时序一致性及分布外鲁棒性。各路线在语义泛化、控制精度与计算成本之间做出了不同取舍,由此形成当前架构、感知与推理多元并存的方法格局。本综述梳理这条从离散符号到连续物理的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

VLA 模型的兴起源于大语言模型(LLM)与视觉-语言模型(VLM)在语义理解上的突破,其核心目标是构建能够理解自然语言指令并在真实物理世界中执行复杂操作的通用具身智能体。传统机器人策略依赖任务特定的监督学习或强化学习,在分布外(Out-of-Distribution, OOD)场景下泛化能力极差,而 VLA 通过整合互联网规模的多模态预训练知识,试图将“感知-理解-控制”统一在单一端到端架构中。这一范式的核心假设是:自然语言作为人类与物理世界交互的通用接口,能够桥接高层语义意图与低层物理动作,从而赋予机器人跨任务、跨环境的迁移能力。

问题的形式化可表述为:给定视觉观测 $o_t$、语言指令 $l$ 及本体感觉状态 $st$,模型需预测未来动作序列 $a{t:t+H}$。早期研究将动作离散化为 Token,纳入 Transformer 序列建模,形式化为 $P(a_{t:t+H} | o_t, l, s_t)$ 的自回归生成问题。然而,这一形式化隐含了“动作可被离散符号充分表征”的假设,忽略了物理世界对动作连续性、高频控制与力反馈的刚性需求。随着任务复杂度提升,问题定义逐渐从“如何理解指令”演变为“如何在物理约束下可靠执行”,子问题间形成严格的依赖关系:数据规模与跨本体异构性是泛化的基础,连续动作生成是控制精度的前提,而多模态融合与显式推理则是解决长程时序一致性与 OOD 鲁棒性的上层建筑。

2022-2023 年是 VLA 范式的奠基期,RT-1 与 RT-2 确立了将机器人控制视为序列生成问题的范式,通过大规模遥操作数据与 Web 规模语义知识的对齐,证明了 VLM 骨干在机器人策略中的有效性。这一阶段的核心约束是“语义泛化”,研究者优先解决“模型能否听懂指令”的问题,而将控制频率与动作精度视为次要矛盾。2024 年,随着精细操作与动态环境需求的增加,离散化带来的控制频率低与动作不连续问题成为主要瓶颈,π0 引入 Flow Matching 机制,标志着问题定义从“语义对齐”转向“物理接地”,连续动作生成成为新的核心约束。

2025-2026 年,领域进入规模化与多模态融合阶段,Open X-Embodiment 等大规模跨本体数据集的涌现,使得跨具身预训练成为可能,问题定义进一步扩展至“异构数据下的统一表示”。与此同时,LIBERO-Plus 等鲁棒性基准揭示了现有模型在 OOD 场景下的脆弱性,长程任务中的时序一致性缺失与接触丰富任务中的感知局限成为新的研究焦点。这一阶段的核心约束是“鲁棒性与物理交互”,研究者开始引入触觉、事件相机等多模态感知,以及思维链(Chain-of-Thought, CoT)与世界模型等显式推理机制,以弥补端到端映射在逻辑规划与物理理解上的不足。

当前,VLA 领域的问题结构已演变为一个多维约束优化问题:在保证实时控制频率与物理连续性的前提下,融合多模态物理感知并具备长程时序推理能力。这一问题的复杂性源于语义空间与物理空间的本质差异,以及数据规模、计算效率与物理真实性之间的张力。

如果用一个核心问题概括该领域,那便是:如何在保证实时控制频率与物理连续性的前提下,构建能够理解自然语言指令、融合多模态物理感知并具备长程时序推理能力的通用具身智能体。

2. 方法体系

  • 2022:RT-1——基于Transformer架构的机器人策略模型,确立序列生成范式

  • 2023:ACT (Action Chunking with Transformers)——提出动作分块机制,解决高频控制延迟问题

  • 2024:π0 (Pi-Zero)——引入Flow Matching机制,实现连续动作生成

  • 2025:Xiaomi-Robotics-1——利用超大规模真实世界轨迹预训练,验证数据规模定律

  • 2025:DreamTacVLA——引入触觉模态融合与世界模型预测,解决接触丰富任务感知局限

  • 2026:Qwen-VLA——统一视觉-语言-动作建模,采用原生多模态骨干与DiT风格Flow Matching

  • 2026:Zero-WAM——基于人类视频的上下文世界-动作建模,实现零样本跨任务泛化

这条时间线勾勒了该领域方法演进的代表性节点:从 2022 年的 RT-1 奠定该领域方法基线,经 2023 年 ACT (Action Chunking with Transformers) 的推进,到 2026 年的 Zero-WAM 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 VLA架构与基础模型

VLA 架构的演进核心在于动作表征与骨干网络的协同优化。早期 RT-1/RT-2 采用离散 Token 预测,虽便于利用 LLM 语义知识,但受限于自回归解码的低控制频率与动作不连续性。π0(Kawaharazuka et al., 2025, P2)针对这一缺陷,引入 Flow Matching 机制作为动作专家,将连续动作空间的高效生成与 VLM 骨干的语义理解解耦,确立了“VLM 骨干+扩散/流匹配动作头”的双系统架构范式。这一设计放弃了离散 Token 的简洁性,换取了高控制频率与平滑连续的动作轨迹,解决了精细操作中的抖动问题。

Qwen-VLA(Wang et al., 2026, P39)代表了原生多模态统一建模的最新趋势,采用 Qwen3.5 作为骨干,通过早期视觉-语言融合将视觉 token 直接交织到文本流中,动作专家模块采用单流 DiT 风格的 Flow Matching 策略。该设计摒弃了传统的离散 token 预测,转而利用连续流匹配生成高维动作,有效解决了离散化带来的精度损失与控制频率限制问题。其核心取舍在于依赖强大的预训练 VLM 骨干,训练成本较高,但换来了跨任务、跨环境及跨具身的统一建模能力。

HiMoE-VLA(Du et al., 2025, P15)针对跨具身数据异构性导致的性能瓶颈,提出层级混合专家(Hierarchical MoE)架构,包含动作空间 MoE(AS-MoE)与异构平衡 MoE(HB-MoE)两个层级模块。AS-MoE 通过 Top-K 选择机制动态分配 token 至特定专家,处理不同动作维度的特征;HB-MoE 引入负载平衡正则化与对比正则化,确保不同机器人形态的数据在共享专家间均匀分布。该设计允许模型在单一骨干中同时适应单臂与双臂操作,无需为每种具身单独训练,其代价是增加了路由机制的计算开销与训练复杂度,但显著提升了跨具身迁移效率。

Xiaomi-Robotics-0(Cai et al., 2026, P24)聚焦于部署层面的工程优化,通过异步执行训练策略与时间步对齐技术解决推理延迟导致的动作抖动。该方法不改变基础 VLA 架构,而是通过训练目标与部署策略的协同优化,使模型能够预测覆盖推理延迟时间的动作块,确保动作序列的平滑衔接。其核心假设是动作块预测能够覆盖推理延迟窗口,且时间步对齐可有效补偿延迟,展示了大规模 VLA 模型在真实世界实时部署中的关键工程路径。

MM-ACT(Liang et al., 2025, P13)提出多模态并行生成框架,统一自回归与扩散训练目标以生成动作。该方法将视觉、语言与动作 token 在统一 Transformer 中处理,文本 token 自回归生成,而动作 token 通过多步去噪过程生成,结合了自回归模型在语义理解上的优势与扩散模型在连续动作生成上的稳定性。其核心创新在于统一了训练目标与注意力机制,避免了传统双系统架构中特征传递的滞后问题,提升了动作生成的时序连贯性与语义一致性。

Libra-VLA(Wei et al., 2026, P37)提出异步粗到细双系统架构,在混合动作空间中操作,离散粗粒度 bin 代表宏观意图,作为连续细粒度动作的锚点。规划器生成预测性粗动作序列,覆盖即将到来的执行窗口,执行器基于粗动作锚点生成连续细动作,确保时间同步。该设计克服了现有双系统架构中静态潜在嵌入缺乏未来时间上下文的问题,解决了异步生成中特征滞后导致的环境状态不匹配,平衡了高层推理与低层执行的计算负载。

2.2 空间感知与3D建模

空间感知与 3D 建模路线旨在解决 2D 视觉表征在精细操作中的局限性,提升空间推理精度。ST4VLA(ICLR 2026, P49)提出空间引导训练框架,通过两阶段训练解耦空间先验学习与具身控制。第一阶段利用多模态空间定位数据集进行空间理解预训练,增强模型对 3D 空间关系的感知能力;第二阶段在机器人操作数据上微调,将空间先验迁移到动作生成中。该方法通过梯度矩阵相似度量化空间感知与操作成功的协同优化,验证了空间理解对操作性能的直接影响,其代价是增加了预训练阶段的计算成本,但显著提升了泛化能力。

PEAfowl(Fan et al., 2026, P21)提出感知增强的多视图 VLA 架构,专门针对双目操作任务。该方法通过几何引导的多视图融合机制,将不同视角的图像特征对齐到共享基坐标系,形成空间一致的表征,并引入 Perceiver 风格文本感知读取模块,根据语言指令动态加权多视图特征。其核心创新在于将多视图图像视为空间实体而非独立 2D token,解决了传统多图像拼接缺乏空间一致性的问题,提升了机器人在视角变化、遮挡及复杂几何场景下的操作精度。

PosA-VLA(Li et al., 2025, P14)提出姿态条件锚点注意力机制,构建姿态条件注意力锚点,为 Transformer 提供显式空间监督,引导注意力聚焦于任务相关区域。引入姿态条件锚点损失,增强注意力一致性与多模态对齐,确保视觉特征与动作预测在空间上匹配。动作生成采用 Flow Matching Transformer,产生精确且时序连贯的动作序列,解决了 VLA 模型在抓取等精细任务中空间定位不准的问题,提升了模型对物体姿态变化的适应能力。

Gaze-Regularized VLA(Pani and Yang, 2026, P33)提出注视正则化训练框架,利用人类注视数据引导 VLA 模型的视觉注意力分配。该方法将时间聚合的注视热图转换为 patch 级分布,通过 KL 散度正则化 Transformer 注意力,使模型内部注意力与人类视觉模式对齐。这种设计无需修改架构或增加推理开销,即可在训练阶段引入任务相关的归纳偏置,解决了 VLA 模型在杂乱场景中注意力分散的问题,提升了模型对任务相关区域的聚焦能力。

Look Before Acting (VL-MoT)(Luo et al., 2026, P30)提出视觉-语言混合 Transformer 框架,通过注入多层视觉专家知识增强 VLA 的视觉基础表征。该方法分析现有 VLA 架构处理视觉信息的局限性,提出在 VLA 模型深层注入多级别视觉专家知识,以增强动作预测性能。视觉专家模块提供密集的几何与语义特征,与语言指令深度融合,解决了预训练 VLM 在机器人控制中视觉表征不足的问题,提升了模型对复杂视觉场景的理解能力。

HiVLA(Yang et al., 2026, P36)提出视觉接地中心层级具身操作系统,包含高层 VLM 规划器与 DiT 动作专家。高层规划器负责任务分解与视觉接地,生成子任务及对应的视觉目标,DiT 动作专家基于高层计划条件化,生成精确动作序列。该方法强调视觉接地在层级操作中的核心作用,通过显式视觉目标引导低层控制,解决了高层语义规划与低层动作执行之间的语义鸿沟,提升了长程任务中的子任务执行精度。

GeneralVLA(Ma et al., 2026, P22)提出知识引导轨迹规划的通用 VLA 模型,包含高层 ASM、中层 3DAgent 与低层策略。高层 ASM 生成点可供性指导,中层 3DAgent 作为通用知识世界模型生成 3D 路径指导,低层策略基于 3D 路径生成动作。该方法利用基础模型的先验知识,实现跨域迁移,减少对昂贵机器人观察-语言-动作数据的依赖,通过引入 3D 路径作为中间表征,将高层语义规划与低层动作执行解耦,提升了零样本泛化能力。

SaPaVe(Liu et al., 2026, P27)提出主动感知与操作 VLA 模型,结合语义主动感知与主动视图执行。模型通过调整视点获取杂乱场景中的相关信息,如揭示被遮挡物体,并将新感知线索接地到即时动作。该方法将主动感知视为 VQA 任务,利用 VLM 评估不同视点的信息增益,选择最佳视点,解决了固定视点在复杂场景中的感知局限,提升了机器人在遮挡、杂乱环境中的操作成功率。

2.3 数据增强与预训练

数据增强与预训练路线聚焦于解决机器人数据稀缺问题,通过跨具身预训练提升模型泛化能力。Xiaomi-Robotics-1(Xiaomi Robotics Team et al., 2026, P44)提出基于超大规模真实世界轨迹的 VLA 预训练方法,利用超过 10 万小时数据,并开发可扩展的自动标注流水线,为轨迹片段生成描述场景状态转换的自然语言。该方法验证了数据规模定律在机器人领域的适用性,显著提升了模型在未见环境中的零样本操作能力,其代价是数据采集与存储成本极高,但为构建通用机器人基础模型提供了数据基础。

GigaBrain-0(GigaBrain Team et al., 2025, P6)提出世界模型驱动的 VLA 模型,利用合成数据缩小 Sim2Real 差距。该方法通过视频生成数据、Sim2Real 转移数据及 Real2Real 转移数据增强训练集,解决真实机器人数据收集昂贵且有限的问题。世界模型生成逼真的视觉与动作序列,提供多样化的训练样本,减少了真实数据依赖,提升了模型在未见场景中的泛化能力,其代价是合成数据可能存在物理不一致性,但显著降低了数据收集成本。

Zero-WAM(Zhou et al., 2026, P46)提出基于人类视频的上下文世界-动作建模,实现零样本跨任务泛化。该方法将机器人任务泛化视为上下文学习问题,利用部署时的上下文推断未见任务并转化为可执行行为。模型采用因果视频-动作框架,预测未来视频块与对齐的动作块,利用人类视频作为上下文,无需特定任务演示即可推断任务意图,突破了传统 VLA 依赖大量特定任务数据的限制,实现了开放任务泛化。

METIS(Fu et al., 2025, P12)提出多源第一人称训练框架,整合灵巧操作 VLA 模型。利用 EgoAtlas 数据集,包含多源第一人称操作数据,解决灵巧操作演示数据昂贵且复杂的问题。模型通过运动感知动力学与多源数据融合,提升对新具身、新物体及新背景的泛化能力,利用第一人称视频数据预训练,模拟人类操作视角,增强模型对灵巧操作的感知能力,减少了真实机器人灵巧操作数据的依赖。

VideoVLA(Shen et al., 2025, P16)提出视频生成器作为可泛化机器人操作器,联合预测动作块与未来视频。模型同时预测动作序列与预期未来视觉内容,利用视频生成能力增强动作预测的时序连贯性,将视频生成与动作预测统一,利用未来视觉预测作为中间表征,提升动作生成的物理一致性,解决了传统 VLA 缺乏未来预测能力的问题,增强了模型对动态环境的适应能力。

2.4 推理与思维链机制

推理与思维链机制路线旨在增强 VLA 模型在复杂任务中的逻辑规划、意图理解及长程任务分解能力。DualCoT-VLA(Zhong et al., 2026, P32)提出视觉-语言并行思维链机制,同时处理低层视觉细节与高层逻辑规划。该方法通过并行推理路径,分别生成视觉 CoT 与语言 CoT,克服单一模态 CoT 在空间感知或逻辑推理上的局限,视觉 CoT 聚焦于精细空间定位,语言 CoT 负责任务分解与逻辑推理,实现了语义理解与空间感知的协同增强,提升了复杂多步任务中的规划精度与空间定位能力。

ManualVLA(CVPR 2026, P48)提出统一的手册生成与机器人操作模型,将长程任务分解为结构化子目标手册。模型通过显式生成中间步骤(手册)并接地到精确动作,解决长程任务中目标状态定义模糊的问题,手册包含子目标描述与视觉接地,引导低层策略执行,将任务规划显式化为文本手册,增强了模型对长程任务的逻辑连贯性,提升了复杂组装与重排任务的一致性。

See-Plan-Rewind(Dai et al., 2026, P26)提出进度感知 VLA 框架,包含 See、Plan 与 Rewind 闭环。See 模块感知当前状态与剩余子任务,Plan 模块规划至下一 2D 路点的轨迹,Rewind 模块在检测到异常时触发回滚至可恢复状态。该方法通过显式监控任务进度,实现错误检测与恢复,引入了 Rewind 机制,解决了长程操作中错误累积导致任务失败的问题,提升了长程操作的鲁棒性,增强了模型在动态环境中的适应能力。

VLA Instruction Tuning(ICLR 2026, P50)提出从理解到操作的指令微调方法,引入 MoE 与潜在动作机制。该方法通过 MoE 模块区分简单指令与推理指令,潜在动作作为中间表征连接语义理解与动作生成,在指令微调中同时优化理解与操作能力,增强推理能力,将推理能力显式融入 VLA 训练,解决了传统 VLA 缺乏逻辑规划能力的问题,提升了模型在复杂指令下的执行精度。

IntentionVLA(Chen et al., 2025, P3)提出具身意图推理与动作生成统一框架,集成 VLM 骨干与桥接模块。模型首先进行具身意图推理,生成高层语义计划,再桥接到低层动作执行,通过两阶段训练,利用具身推理数据增强语义理解,避免动作微调导致的语义能力退化,将意图推理作为中间步骤,解决了传统 VLA 直接映射动作导致的上下文理解不足问题,提升了模型在复杂人机交互场景中的意图理解与执行能力。

StructVLA(Jin et al., 2026, P28)提出世界模型作为结构化规划器,引入稀疏结构化帧作为物理接地的视觉子目标。该方法将单一生成式世界模型重构为结构化规划器,通过稀疏帧预测实现任务分解,利用稀疏结构化帧作为中间表征,解决了密集未来预测计算开销大且缺乏物理意义的问题,提升了长程任务中的规划效率与物理一致性,增强了模型对复杂环境的适应能力。

2.5 鲁棒性与安全评估

鲁棒性与安全评估路线关注 VLA 模型在分布外场景、动态环境及对抗攻击下的表现,通过基准测试与鲁棒性训练提升系统的可靠性与安全性。LIBERO-Plus(Fei et al., 2025, P5)提出 VLA 模型深度鲁棒性分析框架,通过系统性引入视觉、语言及布局扰动,揭示模型在分布外场景下的脆弱性。该基准测试设计了多级扰动难度,量化模型性能随扰动强度增加的变化趋势,提供了细粒度的鲁棒性评估指标,挑战了高基准分数等同于高鲁棒性的假设,推动了社区对模型真实泛化能力与评估标准的重新审视。

RobustVLA(Zhang et al., 2025, P9)提出鲁棒性感知强化学习后训练方法,通过 Jacobian 惩罚抑制模型对输入扰动的敏感性。该方法在 PPO 算法基础上引入鲁棒优化目标,分析 VLA 模型在随机环境扰动下的鲁棒性边界,将鲁棒性约束融入 RL 后训练,提升了模型在分布外场景下的稳定性,解决了传统 VLA 模型在环境扰动下性能急剧下降的问题,增强了部署可靠性。

LangGap(Hou and Zhao, 2026, P25)诊断并关闭 VLA 模型中的语言间隙,通过多样性感知红队测试揭示模型对语言变体的脆弱性。该方法指出模型往往依赖视觉捷径而忽略语言指令,提出训练策略增强语言接地,利用红队测试自动化生成对抗性语言输入,量化语言脆弱性,提升了模型在指令歧义场景下的可靠性,解决了语言理解不足导致的操作错误。

When Alignment Fails(Yan et al., 2025, P11)提出多模态对抗攻击方法,针对 VLA 模型的视觉与语言输入进行联合扰动。该方法利用对抗梯度优化输入,诱导模型生成错误动作,揭示多模态对齐的脆弱性,联合优化视觉与语言对抗样本,比单模态攻击更具破坏力,为 VLA 模型安全评估提供了新视角,强调了多模态对齐鲁棒性的重要性。

FreezeVLA(Wang et al., 2025, P1)提出动作冻结攻击,通过对抗扰动使 VLA 模型输出恒定动作,导致机器人停滞。该方法利用白盒威胁模型,基于对抗梯度选择输入扰动,使模型陷入局部极小值,针对动作输出进行特定攻击,揭示了 VLA 模型在控制层面的安全漏洞,为 VLA 模型安全部署提供了警示,强调了动作输出鲁棒性的重要性。

Affordance Field Intervention (AFI)(Xu et al., 2025, P17)提出可供性场干预机制,帮助 VLA 模型在分布外场景中逃离记忆陷阱。该方法检测机器人是否陷入记忆陷阱,并利用空间可供性场(SAF)生成候选路点,引导模型回到可行轨迹,引入外部可供性场作为干预信号,解决了 VLA 模型在 OOD 场景中依赖记忆导致失败的问题,提升了模型在未见环境中的恢复能力,增强了操作鲁棒性。

ReViP(Li et al., 2026, P20)提出视觉-本体感觉再平衡机制,缓解 VLA 模型中的虚假完成问题。该方法注入进度感知视觉线索,重新平衡视觉与本体感觉动态,防止策略过度依赖内部状态而忽略视觉失败线索,通过模态再平衡,解决了 VLA 模型在物体掉落等情况下继续执行计划动作的问题,提升了模型对视觉反馈的敏感度,增强了操作可靠性。

Diversity-Aware Red Teaming(Tong et al., 2026, P35)提出多样性感知红队测试方法,将具身红队测试建模为 RL 优化问题。该方法通过最大化攻击奖励与熵,自动生成多样化对抗性语言输入,揭示 VLA 模型的语言脆弱性,利用 RL 自动化红队测试,比启发式方法更具适应性,提升了语言鲁棒性评估的效率与覆盖度,为模型改进提供了数据支持。

2.6 多模态感知融合

多模态感知融合路线整合触觉、事件相机、手势及多传感器数据,突破单一 RGB 视觉限制,提升模型在接触丰富及复杂光照环境下的感知精度。DreamTacVLA(Ye et al., 2025, P18)提出触觉模态融合与世界模型预测机制,通过层级空间对齐损失将触觉信号与视觉特征在潜在空间中对齐。模型包含预训练阶段(空间对齐与世界模型)与策略阶段(动作专家与世界模型预测未来触觉),利用世界模型预测未来触觉图像,增强接触丰富任务中的感知能力,解决了视觉信息在接触任务中的缺失问题,提升了精细操作的成功率。

TacFiLM(Morissette et al., 2026, P29)提出轻量级触觉模态融合方法,利用 FiLM 层条件化中间视觉特征。该方法将触觉信号通过 FiLM 层注入 VLA 模型,避免直接拼接导致的模态冲突,通过特征调制实现触觉与视觉的深度融合,提升了模型对接触力的感知能力,解决了接触丰富任务中视觉反馈不足的问题,增强了操作精度。

TacForcing(Zhou et al., 2026, P45)提出流式动作生成框架,整合执行时触觉反馈。该方法采用块状流式动作生成,利用扩散强制机制处理序列 token,并在执行时条件化触觉输入,将触觉反馈实时融入动作生成过程,解决了静态触觉输入无法反映动态接触状态的问题,提升了接触丰富任务中的操作精度与鲁棒性,增强了模型对滑移等事件的适应能力。

E-VLA(Zhai et al., 2026, P34)提出事件增强 VLA 模型,整合事件相机数据以应对黑暗与模糊场景。该方法通过层级事件适配器将事件流压缩为物理残差图,与 RGB 帧融合,利用事件相机的高时间分辨率与高动态范围,解决低光照与运动模糊下的视觉失效问题,提升了模型在极端视觉条件下的鲁棒性,增强了操作连续性。

Event-VLA(Liu et al., 2026, P43)提出动作条件事件融合机制,将异步事件流压缩为物理残差图并编码为 VLA 兼容 token。该方法通过可学习事件查询与动作条件接口,选择性路由事件 token 至动作槽,将事件信息通过动作相关路径注入 VLA,解决了事件数据与动作生成的对齐问题,提升了模型在低光照与运动模糊场景下的鲁棒性,增强了操作精度。

OmniVLA(Guo et al., 2025, P8)提出物理接地的多模态 VLA 模型,统一多传感器感知。该方法通过传感器掩码图像生成,将红外、深度等传感器数据叠加到 RGB 图像特定区域,利用冻结视觉编码器处理,通过语义分割掩码实现多传感器数据的空间对齐,解决了多模态数据融合的空间不一致问题,提升了模型在需要非 RGB 线索任务中的感知能力,增强了操作鲁棒性。

GesVLA(Guo et al., 2026, P38)提出手势感知 VLA 模型,整合指向手势以解决语言指令歧义。该方法采用手势感知双 VLM 架构,分离意图推理与在线感知,通过手势 token 指定目标物体,引入手势模态,解决了杂乱场景中语言指令指向不明确的问题,提升了模型在复杂场景中的目标定位精度,增强了操作效率。

SignVLA(Bai et al., 2026, P41)提出实时手语引导机器人操作模型,利用 Attention LSTM 与 VLA 模型。该方法通过 MediaPipe 提取手语特征,利用 LLM 转换为自然语言,再输入 VLA 策略执行,将手语识别与 VLA 操作统一,解决了手语指令实时性要求高的问题,提升了模型在手语交互场景中的响应速度与操作精度,增强了人机交互能力。

3. 关键共识、分歧与开放问题

3.1 领域共识

VLA 模型通过整合大规模预训练的 VLM 骨干与动作生成模块,显著提升了机器人在开放环境中的指令遵循和泛化能力,优于传统的任务特定策略。这一共识在多个基准上被反复验证:Xiaomi-Robotics-0 的 98.7% 与 MM-ACT 的 96.3% 均大幅超越 OpenVLA 的 76.5%,证明了 VLM 骨干与连续动作生成机制在提升泛化能力上的有效性(支撑证据:P24, P13, P10)。与此相关的另一个共识是,动作离散化虽然便于利用 LLM 架构,但存在控制频率低和精度损失的问题,连续动作生成(如 Flow Matching/Diffusion)已成为提升控制性能的主流趋势。π0 引入 Flow Matching 机制后,在精细操作任务中的表现显著优于离散 Token 预测方法,验证了连续动作生成在控制精度与实时性上的优势(支撑证据:P2, P39, P13)。

3.2 观点分歧

显式推理(CoT/世界模型)的必要性是领域内的核心分歧。观点 A 认为显式推理是长程任务成功的关键,能弥补端到端映射的逻辑缺陷,如 DualCoT-VLA 通过并行推理路径提升了复杂多步任务中的规划精度;观点 B 认为显式推理增加延迟,短程任务中收益有限,应优先优化端到端映射的效率,如 π0 在短程任务中表现更高且延迟更低。现有证据偏向观点 A 在长程任务(CALVIN, LIBERO-Long)中有效,但在短程任务(LIBERO-Spatial)中观点 B 的模型性能更高且延迟更低,证据强度中等,缺乏统一的“推理-延迟-成功率”帕累托前沿评估(支撑证据:P32, P48, P26, P2)。这一分歧的背后,是另一个更根本的争论:合成数据(世界模型)能否替代真实机器人数据。观点 A 认为世界模型生成的合成数据可有效提升多样性,缩小 Sim2Real 差距,如 GigaBrain-0 通过视频生成数据增强训练集多样性;观点 B 认为合成数据存在物理不一致性,真实数据仍是提升鲁棒性的核心,如 Xiaomi-Robotics-1 利用超大规模真实世界轨迹预训练。证据偏向观点 A 在提升泛化多样性上有效,但观点 B 在接触丰富任务中表现更优,证据强度较弱,缺乏大规模“合成 vs 真实”数据的消融实验(支撑证据:P6, P44, P16)。

3.3 其他开放问题

当前最紧迫的工程问题是实时推理延迟与多传感器硬件同步。大型 VLM 骨干网络推理速度慢,难以满足实时控制需求,而小模型又缺乏泛化能力,现有尝试通过异步执行、动作分块或蒸馏小模型来平衡精度与速度,但尚未形成统一的工程标准。最根本的研究问题是 VLA 是否具备真正的物理因果理解。VLM 骨干主要学习语义关联,缺乏对物理世界因果关系的建模,导致在需要物理推理的任务中表现不佳,当前尝试引入世界模型或物理约束来增强动力学感知,但世界模型的物理一致性和长时程预测能力仍是瓶颈。已知的是连续动作生成与多模态融合在提升控制精度与物理交互能力上的有效性,争议的是显式推理的必要性、合成数据的替代性及多模态融合的最优组合,未知的是 VLA 模型在长程任务中的信念状态建模与物理因果理解的本质。发展趋势将从“模仿”向“理解”演进,从“单模态”向“全模态”扩展,最终实现通用具身智能体。

4. 总结与展望

VLA 领域的核心矛盾在于 LLM 的离散语义优势与机器人控制的连续物理需求之间的张力。早期研究通过离散化动作利用 LLM 语义知识,但受限于控制频率与精度;随后引入 Flow Matching/Diffusion 实现连续动作生成,解决了控制精度问题,但增加了计算复杂度;当前研究聚焦于多模态融合与显式推理,以应对长程任务与 OOD 鲁棒性挑战,但面临推理延迟与物理一致性瓶颈。这一演进过程反映了从“语义对齐”到“物理接地”的重心转移,核心瓶颈在于如何在保证实时控制频率与物理连续性的前提下,融合多模态物理感知并具备长程时序推理能力。

未来可能突破的方向包括:世界模型作为交互式策略环境,通过生成物理一致的合成数据提升多样性与鲁棒性(GigaBrain-0, VideoVLA);零样本跨任务泛化,利用人类视频上下文推断未见任务(Zero-WAM, GeneralVLA);多模态对抗鲁棒性,通过红队测试与鲁棒性 RL 后训练提升安全性(LangGap, RobustVLA)。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评估显式推理机制在长程任务中的“推理-延迟-成功率”帕累托前沿,以解决当前领域内关于推理必要性的核心分歧。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9081 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2695 13
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1287 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11113 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
943 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1315 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。