A Survey of World Models for Reinforcement Learning and Robotics |世界模型在强化学习与机器人中的范式演进

简介: 世界模型(WorldModels)旨在构建智能体的内部模拟器,通过预测环境动力学来替代高成本的真实交互,其核心价值在于解决强化学习(RL)样本效率低下与计算资源受限之间的根本矛盾。早期研究依赖显式物理模型或像素级重建,虽确立了“在想象中规划”的范式,却受制于无关视觉细节带来的优化困难与长时程误差累积。随着循环状态空间模型(RSSM)的引入,潜空间动力学学习成为主流,大幅提升了样本效率,但暴露出表示坍缩与不确定性量化失效等新问题。近期,联合嵌入预测架构(JEPA)与扩散模型的介入,推动研究重心从生成式重建转向预测性表征,并逐步融合视觉-语言-动作(VLA)模型以支持具身智能。

综述原文见 www.arxivreview.com

导读

世界模型(World Models)旨在构建智能体的内部模拟器,通过预测环境动力学来替代高成本的真实交互,其核心价值在于解决强化学习(RL)样本效率低下与计算资源受限之间的根本矛盾。早期研究依赖显式物理模型或像素级重建,虽确立了“在想象中规划”的范式,却受制于无关视觉细节带来的优化困难与长时程误差累积。随着循环状态空间模型(RSSM)的引入,潜空间动力学学习成为主流,大幅提升了样本效率,但暴露出表示坍缩与不确定性量化失效等新问题。近期,联合嵌入预测架构(JEPA)与扩散模型的介入,推动研究重心从生成式重建转向预测性表征,并逐步融合视觉-语言-动作(VLA)模型以支持具身智能。各路线在表示质量、计算效率与安全鲁棒性之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从像素重建到潜空间预测的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

世界模型的兴起源于强化学习在真实物理环境中面临的样本效率瓶颈。传统无模型(Model-Free)RL 算法需要数百万次交互才能收敛,这在真实机器人场景中因硬件损耗、安全风险及时间成本而不可行。世界模型通过学习环境动力学,使智能体能够在内部生成的“梦境”中进行规划与策略优化,从而将真实交互次数降低数个数量级。这一范式由 Ha & Schmidhuber (2018) 奠基,其基于变分自编码器(VAE)与循环神经网络(RNN)的架构确立了“编码-动力学-解码”的标准流程,将高维像素观察压缩为低维潜变量并预测未来状态。然而,早期方法受限于算力,主要关注短视距预测,难以应对复杂动态环境中的长时程依赖问题。

问题的形式化可定义为:在部分可观测马尔可夫决策过程(POMDP)中,学习一个动力学模型 $f_\theta(s_t, at) \rightarrow \hat{s}{t+1}$,使得智能体能够基于当前潜状态 $s_t$ 和动作 $a_t$ 准确预测下一状态,并据此优化策略 $\pi(a|s)$。核心挑战在于潜状态 $s_t$ 的信息充分性:它必须保留足以预测未来观察和奖励的控制相关信息,同时剔除无关的视觉噪声。子问题之间存在严格的依赖关系:潜空间表示的质量(是否坍缩、是否控制相关)是长时程预测稳定性的前提,而预测的可靠性又直接决定了不确定性量化和安全机制的有效性。若潜空间无法准确捕捉动力学,基于其上的规划将产生系统性偏差,导致策略在真实环境中失效。

范式边界在 2020 年前后发生显著变化。早期研究假设环境动力学可通过像素级重建有效学习,但 PlaNet (Hafner et al., 2019) 和 Dreamer 系列 (Hafner et al., 2020) 引入 RSSM,将状态分解为确定性循环部分和随机潜在变量,实现了从像素到潜在状态的端到端学习。这一转折解决了早期模型在长时程预测中的误差累积问题,确立了基于潜空间想象训练策略的主流范式。然而,DreamerV2 (Hafner et al., 2021) 引入离散潜变量以缓解连续潜空间的表示坍缩,虽提升了鲁棒性,却暴露出离散化带来的信息损失。此时,问题定义已从“如何高效预测”演变为“如何在保持计算效率的同时,确保潜空间表示的控制相关性与非坍缩性”。

2022 年,LeCun et al. 提出联合嵌入预测架构(JEPA),主张在潜空间直接预测未来表示而非重建像素,这一非生成式范式彻底改变了优化目标。JEPA 避免了像素级重建的计算冗余,强调预测性表示学习,但引入了新的挑战:缺乏重建目标可能导致表示坍缩,即编码器将所有观察映射到同一常数向量。2024 年,V-JEPA (Assran et al., 2024) 将 JEPA 应用于视频预测,验证了无重建潜空间预测在复杂视觉环境中的可行性。与此同时,DIAMOND (Alonso et al., 2024) 引入扩散模型作为世界模型骨干,在像素空间生成高保真未来帧,展示了生成式模型在解决长时程一致性方面的潜力,但计算开销较大。这一时期,研究重心转向利用大规模预训练视觉编码器构建联合嵌入预测架构,以及扩散模型在动作生成与状态预测中的应用。

2025 年至 2026 年,领域进入细化与融合阶段。LeWorldModel (Maes et al., 2025) 提出从像素端到端训练潜空间世界模型,结合模型预测控制(MPC)进行规划,无需奖励信号即可学习任务无关的动力学表示。World-Gymnast (Sharma et al., 2025) 利用动作条件视频世界模型作为仿真环境,结合视觉-语言模型(VLM)奖励信号对 VLA 策略进行强化学习微调,解决了真实机器人交互成本高的问题。安全鲁棒性成为新焦点,ARB4WM (Zhang et al., 2025) 构建了针对连续控制世界模型的对抗鲁棒性基准,揭示了现有世界模型在对抗攻击下的脆弱性。Newt (Hansen et al., 2025) 提出大规模多任务世界模型,通过语言条件预训练支持 200 个不同领域的连续控制任务,展示了世界模型在通用机器人控制中的扩展潜力。当前形态下,研究高度活跃,焦点集中在解决长时程预测误差累积、潜在空间中的不确定性量化失效、以及世界模型与 VLA 模型的融合,旨在构建具备通用泛化能力、可解释且安全的智能体内部模拟器。

如果用一个核心问题概括该领域,那便是:如何在计算受限且部分可观测的真实环境中,构建一个既能高效预测未来状态以支持规划,又能准确量化不确定性以保障安全,且具备跨任务泛化能力的内部动力学模拟器。

2. 方法体系

  • 2018:World Models (Ha & Schmidhuber)——提出基于VAE和RNN的早期世界模型架构,奠定潜空间动力学基础

  • 2019:PlaNet (Hafner et al.)——引入循环状态空间模型(RSSM),实现从像素进行模型预测控制

  • 2020:Dreamer (Hafner et al.)——提出在潜空间中进行“想象”以训练Actor-Critic策略,确立主流范式

  • 2022:JEPA (LeCun et al.)——提出联合嵌入预测架构,主张在潜空间直接预测未来表示

  • 2024:V-JEPA (Assran et al.)——将JEPA范式应用于视频预测,验证无重建潜空间预测可行性

  • 2024:DIAMOND (Alonso et al.)——引入扩散模型作为世界模型骨干,提升视觉复杂环境下的规划精度

  • 2025:LeWorldModel (Maes et al.)——提出从像素端到端训练潜空间世界模型,结合MPC进行规划

  • 2026:LaWAM (Wang et al.)——提出潜空间世界动作模型,显著降低VLA模型的推理延迟

这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 World Models (Ha & Schmidhuber) 奠定该领域方法基线,经 2019 年 PlaNet (Hafner et al.) 的推进,到 2026 年的 WestWorld (Wang et al.) 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 JEPA与潜空间建模

JEPA 与潜空间建模路线的核心动机是消除像素级重建的计算冗余,直接优化控制相关的潜状态预测。LeWorldModel (Maes et al., 2025, P22) 是该路线的近期代表,它针对传统生成式世界模型计算开销大且易受无关视觉细节干扰的问题,采用离线无奖励设置,仅利用未标注的观察-动作轨迹训练编码器与预测器。其核心创新在于摒弃像素重建目标,直接优化潜状态预测,从而专注于捕获环境动态而非视觉保真度。训练后的模型通过 MPC 在潜空间中进行规划,无需任务特定奖励即可适应多种控制任务。这种设计显著降低了训练复杂度,避免了生成式解码器的优化困难,但代价是依赖离线数据的覆盖度,且在分布外状态上的预测可靠性尚未得到充分验证。

针对 LeWorldModel 中可能出现的表示坍缩问题,Sub-JEPA (Zhao et al., 2026, P30) 引入了子空间高斯正则化机制。该方法将全空间高斯正则化替换为在多个冻结行正交随机投影子空间上的高斯正则化,通过约束潜变量在特定子空间中的分布,有效防止了编码器将所有观察映射到同一常数向量。Sub-JEPA 在保持潜空间紧凑性的同时提升了长时程预测的稳定性,为 JEPA 类世界模型提供了更鲁棒的训练策略。其取舍在于引入了额外的投影矩阵计算开销,且正则化强度需仔细调节以避免过度约束。与 LeWorldModel 相比,Sub-JEPA 更侧重于训练稳定性,而 LeWorldModel 更侧重于端到端的简洁性与离线数据利用效率。

NE-Dreamer (Bredis et al., 2026, P19) 则从另一角度切入,提出一种无解码器的模型基础强化学习代理,利用时间 Transformer 预测下一步编码器嵌入以优化潜空间表示。该方法摒弃了 Dreamer 系列中的像素重建损失,转而直接优化时间预测对齐,使代理在部分可观测环境中学习连贯的预测性状态表示。其核心创新在于引入时间 Transformer 作为动力学骨干,捕捉长时程依赖关系,并通过预测下一帧的编码器输出而非像素来降低建模负担。NE-Dreamer 在 DeepMind Control Suite 上匹配或超越 DreamerV3,证明了无重建潜空间预测在复杂控制任务中的有效性。其代价是依赖编码器质量,若编码器未能捕获关键特征,预测性能将受限。与 Sub-JEPA 的正则化路径不同,NE-Dreamer 通过架构设计(时间 Transformer)和训练目标(嵌入预测)来解决长时程依赖问题,两者在解决表示质量问题上形成了互补。

JEDI (Lim et al., 2026, P31) 则探索了扩散模型与潜空间预测的结合,提出联合嵌入扩散世界模型。该方法将扩散过程应用于潜变量而非像素,显著降低了内存和采样时间开销,同时保留了扩散模型在建模复杂分布方面的优势。JEDI 端到端学习潜空间编码器,利用条件去噪过程预测下一潜状态,并从潜状态预测奖励与终止信号。其取舍在于扩散采样仍需多步迭代,但相比像素空间大幅提速。JEDI 在在线模型基础强化学习中展示了强大的视觉建模能力,为高维视觉环境下的样本高效学习提供了新工具。与纯 JEPA 方法相比,JEDI 引入了生成式过程的灵活性,以更高的计算成本换取了对复杂多模态分布的建模能力,适用于视觉复杂度较高的场景。

在理论层面,JEPA Generalization Theory (Cui et al., 2026, P40) 建立了 JEPA 世界模型的首个泛化理论框架,将预训练过程形式化为条件谱图学习问题。该方法证明了 JEPA 目标等价于动作条件共现矩阵的低秩分解,并建立了预训练误差与下游规划遗憾之间的连接。其核心贡献在于提供有限样本泛化界,揭示了近似误差与泛化性能之间的内在权衡,即更低的近似误差并不总是带来更好的泛化。这一理论为模型容量选择提供了依据,指导实践者平衡模型复杂度与数据规模。Orthogonal JEPA (Cui et al., 2026, P44) 则从几何结构角度提出正交正则化的多分支目标函数,强制不同潜变量分支在几何上相互垂直,从而促进因子化预测状态的学习。其代价是正交性仅保证几何分离,不隐含统计独立性或因果模块化。Latent State Design under Sufficiency Constraints (Kim, 2026, P29) 进一步指出,潜状态需根据下游任务(预测、控制、对象中心建模、记忆)保留不同信息,单一潜空间难以同时满足所有需求,揭示了预测准确与控制有效之间的潜在冲突。这些理论工作为 JEPA 与潜空间建模路线提供了数学基础和设计原则,强调了表示结构对下游任务性能的决定性作用。

2.2 机器人操作与控制

机器人操作与控制路线聚焦于将世界模型应用于真实机器人的操作、导航及全身控制,核心挑战在于解决推理延迟、长时程规划及 Sim-to-Real 差距。LaWAM (Chen et al., 2026, P37) 提出潜空间世界动作模型,旨在解决视觉-语言-动作模型中缺乏显式场景演化建模导致的推理延迟高问题。该方法将未来预测表示在冻结视觉特征空间中,通过潜动作模型学习当前与未来特征间的映射,并结合逆动力学模型生成动作。其核心创新在于避免像素级视频生成,仅预测紧凑的潜空间未来状态,从而大幅降低计算开销和推理延迟。LaWAM 在 LIBERO 基准上展示了优于像素级 WAM 的延迟-成功率权衡,为实时机器人控制提供了高效范式。其取舍在于依赖预训练视觉编码器的质量,且潜空间预测可能丢失部分视觉细节。

World-Gymnast (Sharma et al., 2026, P15) 则探索了世界模型作为训练环境的潜力,提出在世界模型中进行强化学习微调的框架。该方法利用动作条件视频世界模型作为仿真环境训练 VLA 策略,解决了真实机器人交互成本高且仿真器存在 Sim-to-Real 差距的问题。其核心设计在于将世界模型作为可微分或可交互的环境,使策略能够在“梦境”中探索并接收基于视觉-语言理解的奖励。World-Gymnast 在 Bridge 机器人上展示了优于监督学习和软件仿真的性能,证明了世界模型作为训练环境的潜力。其代价是依赖世界模型的保真度,若预测偏差大则奖励信号可能误导策略。与 LaWAM 侧重于推理效率不同,World-Gymnast 侧重于训练效率与泛化能力,两者在 VLA 与世界模型的融合路径上形成了互补。

Hierarchical Planning with Latent World Models (Zhang et al., 2026, P25) 针对长时程控制中的预测误差累积和搜索空间指数增长问题,提出多时间尺度潜空间世界模型与分层规划方法。该方法在不同时间尺度上学习潜空间动力学,并在高层进行粗粒度规划,低层进行细粒度执行,从而减少推理时的规划复杂度。其核心创新在于将规划过程分层,利用高层模型预测长期趋势,低层模型处理即时控制,实现了长时程推理与计算效率的平衡。Hierarchical Planning 在零样本部署中展示了显著的泛化能力提升,为长时程机器人任务提供了可行方案。其取舍在于增加了模型架构的复杂性,且需协调不同时间尺度的预测一致性。

World-Action Model (WAM) (Han and Yilmaz, 2026, P23) 提出动作正则化世界模型,通过联合预测未来视觉观察和驱动状态转移的动作来增强策略学习。该方法在 DreamerV2 基础上引入逆动力学目标,鼓励潜空间表示捕获对下游控制至关重要的动作相关结构。其核心设计在于将动作预测作为辅助任务,使世界模型不仅预测“会发生什么”,还预测“如何发生”,从而提升表示的控制相关性。WAM 在 CALVIN 基准上显著提升了行为克隆和 PPO 微调的成功率,证明了动作感知世界模型在操作任务中的优势。其代价是增加了训练损失项,需平衡观察预测与动作预测的权重。与 LaWAM 的潜空间预测不同,WAM 更强调动作与观察的联合建模,两者在提升控制相关性方面提供了不同的技术路径。

WorldDP (Goswami et al., 2026, P34) 提出统一对象中心世界模型与扩散策略的层级框架,旨在解决多阶段机器人任务中的长时程规划与执行问题。该方法利用对象中心编码器提取场景实体表示,通过世界模型预测对象状态演化,并结合扩散策略生成低层动作。其核心创新在于将对象中心表示引入世界模型,使预测更具结构化和可解释性,同时利用扩散策略处理连续动作生成的复杂性。WorldDP 在多阶段操作任务中展示了优于单阶段方法的性能,为复杂机器人任务提供了层级化解决方案。其取舍在于对象中心表示可能忽略背景信息,且扩散策略推理较慢。LiLa-WAM (Yang et al., 2026, P43) 则提出轻量级潜空间推理世界动作模型,将动作生成与显式未来状态预测耦合在紧凑潜空间中,使预测成为训练信号而非涌现副产品。其在机器人操作任务中展示了优于纯反应式 VLA 的性能,证明了显式预测在提升控制鲁棒性中的作用。Deep Active Inference with Temporally Hierarchical World Model (Fujii and Murata, 2025, P9) 提出基于深度主动推断的机器人控制框架,构建包含世界模型、动作模型和抽象世界模型的层级架构,使机器人能同时执行目标导向和探索性动作。ResWM (Zhang et al., 2026, P20) 提出残差动作世界模型,将控制变量从绝对动作重构为相对于上一步的残差动作,以对齐真实世界控制的平滑性,在视觉 RL 基准上展示了更稳定的控制性能。这些方法共同构成了机器人操作与控制路线的技术图谱,涵盖了从推理效率、长时程规划到动作表示优化的多个维度。

2.3 安全鲁棒与评估

安全鲁棒与评估路线关注世界模型在安全关键场景下的可靠性,核心问题是潜空间动力学在对抗扰动、分布外输入及不确定性量化失效下的表现。ARB4WM (Zhang et al., 2026, P38) 构建了针对连续控制世界模型的对抗鲁棒性基准,系统评估了潜空间动力学在视觉扰动下的可靠性。该方法定义了 Dreamer 风格世界模型的对抗威胁模型,评估当视觉输入受到对抗扰动时,潜状态、想象轨迹和控制性能的退化程度。其核心贡献在于提供标准化测试集和评估指标,揭示现有世界模型在对抗攻击下的脆弱性,特别是潜空间表示的敏感性。ARB4WM 填补了世界模型安全评估的空白,推动了鲁棒性研究从模型-free 向模型-based 扩展。

WMAttack (Guo et al., 2026, P32) 提出自动化攻击搜索框架,针对闭环 RL 世界模型代理进行对抗评估,旨在揭示微小扰动导致的级联失效风险。该方法利用自动化优化技术搜索能最大化策略偏离的对抗观察,评估世界模型在对抗环境下的鲁棒性。其核心创新在于将攻击搜索与闭环 RL 代理结合,考虑了扰动对动作、未来状态和长时程回报的复合影响,而非仅关注单步预测误差。WMAttack 揭示了世界模型代理在对抗攻击下的严重脆弱性,为安全部署提供了新视角,呼吁加强潜空间动力学的鲁棒性设计。与 ARB4WM 的基准构建不同,WMAttack 侧重于攻击方法的自动化与闭环评估,两者共同构成了世界模型对抗鲁棒性研究的基础设施。

Biased Dreams (Berger et al., 2026, P26) 分析了潜空间模型中认知不确定性量化的局限性,指出吸引子行为可能掩盖模型误差,导致不确定性估计失效。该方法通过理论分析和实证实验,展示了潜空间动力学中的吸引子效应如何使模型在错误区域表现出低不确定性,从而误导安全代理。其核心贡献在于挑战了基于模型不确定性的安全代理有效性,揭示了潜空间表示与真实环境动力学之间的偏差。Biased Dreams 为安全强化学习提供了重要警示,推动了从模型内部代理向外部世界反馈的转变。Learning from World Feedback (Wang, 2026, P41) 则提出基于世界反馈的安全模型基础强化学习框架,主张学习信号应来自世界反馈(如安全结果、验证器反馈)而非内部模型代理。该方法通过传感器导出的裕度、时间信号和结果监督反馈模型替代动力学不确定性惩罚,显著降低碰撞率。其代价是依赖外部传感器和标签数据,且反馈模型需预先训练。Learning from World Feedback 在安全控制任务中展示了优于传统 MBRL 安全代理的性能,证明了世界反馈在风险信号中的有效性。

Failure-Aware RL (FARL) (Li et al., 2026, P13) 提出失败感知的离线到在线强化学习框架,旨在解决真实世界操作中策略过拟合和探索不安全的问题。该方法预训练任务策略、恢复策略和世界模型,其中世界模型利用失败演示学习导致失效的状态-动作序列。其核心设计在于在线阶段固定恢复策略和世界模型,引导代理从近失效状态恢复,最小化交互失败风险。FARL 在真实机器人操作任务中展示了显著减少失败集数的能力,为安全机器人学习提供了实用框架。Safety, Security, and Cognitive Risks in World Models (Parmar, 2026, P24) 系统梳理了世界模型在安全、安全和认知层面的风险,提出基于 MITRE ATLAS 的威胁建模方法,识别了数据投毒、潜表示污染、滚动误差累积和 Sim-to-Real 差距利用等攻击向量。Targeting World Models to Compromise Robot Learning Pipelines (Rathbun et al., 2026, P35) 提出针对世界模型代理的后门攻击方法,揭示通过图像注入触发器以操纵下游机器人策略的风险。Benchmarking World-Model Learning (Warrier et al., 2025, P3) 提出评估世界模型学习的两阶段协议,通过行为而非内部表示或奖励来评估代理的环境理解能力,推动了世界模型评估从任务性能向认知能力的转变。这些工作共同构成了安全鲁棒与评估路线的研究体系,涵盖了从对抗攻击、不确定性失效到认知风险评估的多个层面。

2.4 多任务与泛化

多任务与泛化路线旨在解决单一世界模型难以适应多样任务及跨本体迁移的问题,核心挑战在于处理任务间观测/动作空间差异、奖励尺度不一致及动力学异构性。Newt (Hansen et al., 2025, P8) 提出大规模多任务世界模型,通过语言条件预训练获取任务感知表示和动作先验,然后与在线交互联合优化,支持 200 个不同领域的任务。其核心创新在于结合基础模型预训练与在线 RL,利用语言指令统一多任务接口,并设计新基准涵盖多种本体和观测空间。Newt 在 HumanoidBenchHard 等基准上展示了优于单任务基线的性能,证明了世界模型在通用机器人控制中的扩展潜力。其代价是预训练数据需求大,且在线优化需平衡多任务梯度冲突。

EZ-M (Liu et al., 2026, P18) 扩展 EfficientZero 至多任务在线强化学习,旨在解决任务间观测/动作空间差异和奖励尺度不一致导致的训练不稳定问题。该方法引入任务自适应设计,包括任务特定归一化、奖励缩放和观测/动作空间映射,以稳定多任务学习。EZ-M 在 HumanoidBenchHard 上显著优于基线,证明了模型基础 RL 在多任务人形控制中的有效性。其代价是任务条件化增加了模型复杂度,且需处理任务分布偏移。与 Newt 的语言条件预训练不同,EZ-M 更侧重于任务自适应的归一化与映射机制,两者在多任务学习策略上形成了互补。

WestWorld (Wang et al., 2026, P21) 提出知识编码的可扩展轨迹世界模型,旨在解决多机器人系统中传感器/执行器异构性和动力学差异导致的泛化难题。该方法通过量化离散化连续状态和动作,构建统一的轨迹表示,并注入领域知识以桥接不同机器人系统的动力学差距。其核心创新在于利用知识编码增强轨迹表示的语义丰富性,支持跨本体零样本泛化,无需针对每个机器人重新训练。WestWorld 在多种机器人系统上展示了强大的泛化能力,推动了通用机器人基础模型的发展。其代价是量化可能丢失细粒度信息,且知识编码需领域专家参与。Latent Action World Models (Alles et al., 2025, P11) 提出从包含无动作和有动作轨迹的数据集学习世界模型,使用潜动作空间对齐无动作和有动作数据的动作表示,作为归纳偏置和规划支持约束。该方法在控制任务中展示了从混合数据学习的有效世界模型,为数据稀缺场景提供了新方案。

RoboScape-R (Tang et al., 2025, P10) 提出统一奖励-观察世界模型,旨在解决模仿学习过拟合和泛化能力有限的问题,支持通过 RL 进行可扩展机器人训练。该方法将世界模型作为环境,接收策略预测的动作并生成下一帧观察和统一奖励,提供通用可扩展接口。其核心创新在于统一奖励和观察预测,使世界模型能作为 RL 环境训练策略,克服 IL 对专家数据的依赖。MrCoM (Xiong et al., 2025, P7) 提出元正则化世界模型,通过元状态和元价值正则化机制实现跨场景泛化,提供了泛化误差上界的理论分析。TC-WM (Fu et al., 2026, P33) 提出任务中心世界模型,利用任务中心侧信息从预训练视觉嵌入中提取潜状态,避免像素重建,专注于控制相关动态。这些方法共同构成了多任务与泛化路线的技术图谱,涵盖了从语言条件预训练、任务自适应设计到知识编码与元学习的多个维度。

2.5 跨任务与多领域应用

跨任务与多领域应用路线关注世界模型在多样化任务场景中的通用性,核心挑战在于如何构建能够适应不同任务类型、本体形态及环境动态的基础世界模型。World Model for Robot Learning: A Comprehensive Survey (Hou et al., 2026, P28) 系统综述了机器人学习中世界模型的定义、架构、功能及挑战,区分了世界模型与视频生成模型,强调世界模型作为代理-环境动力学预测模型的本质。A Step Toward World Models: A Survey on Robotic Manipulation (Zhang et al., 2025, P6) 聚焦机器人操作领域,提出“世界”被建模的实体、属性和关系视角,探讨世界模型如何支持预测、规划和推理。A Tutorial on World Models and Physical AI (Oh, 2026, P36) 提供世界模型与物理 AI 的教程,区分了用于滚动推理的显式动力学模型和编码在可扩展表示中的隐式预测结构,探讨了其在机器人和自动驾驶中的应用。

Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments (Delgrange, 2026, P17) 提出基础世界模型愿景,旨在解决标准世界模型假设固定任务和环境的局限,支持代理在开放世界中可靠学习和适应。该方法提出四个组件议程:可学习奖励模型、自适应形式验证、在线抽象校准和测试时计算,以统一 RL、反应式/程序合成和抽象机制。Research on World Models Is Not Merely Injecting World Knowledge into Specific Tasks (Zeng et al., 2026, P14) 提出统一世界模型框架,强调主动交互和整体世界理解,倡导统一感知、空间表示、长期记忆和符号推理,实现整体世界理解,而非孤立任务优化。Graph World Models: Concepts, Taxonomy, and Future Directions (Liu et al., 2026, P27) 系统梳理图结构世界模型,将 GWM 分为三层:图作为连接器(空间 RIB)、模拟器(物理 RIB)和推理器(逻辑 RIB),分别描述可达性、动态规律和语义规则。这些综述与理论工作为跨任务与多领域应用提供了概念框架和技术路线图,强调了世界模型在实现通用具身智能中的核心地位。

3. 关键共识、分歧与开放问题

3.1 领域共识

领域内最核心的共识是潜在空间动力学建模比像素空间重建更高效且更适合控制任务,能避免无关视觉细节的干扰。这一共识在多个基准上被反复验证:DyMoDreamer 在 Atari 100k 上的 156.6% HNS Mean 与 LaWAM 在 LIBERO 上的 90.0% Avg SR 均大幅超越基于像素重建的基线,证明了潜空间预测在样本效率与控制性能上的双重优势(支撑证据:P1、P37)。与此相关的另一个共识是世界模型是提升强化学习样本效率的关键,通过想象轨迹或合成数据减少对环境交互的依赖。Dreamer 系列在 DMC 上以 786 的 Task Mean 确立了潜空间想象训练策略的主流范式,而 Newt 在 HumanoidBenchHard 上的多任务扩展进一步验证了世界模型在通用机器人控制中的样本效率优势(支撑证据:P8、P1)。

部分可观测性(POMDP)是真实机器人环境的常态,世界模型必须包含记忆机制(如 RNN 或 Transformer)以整合历史观测,这一共识在 DMLab Rooms 等长时程导航任务中得到了充分验证。NE-Dreamer 通过时间 Transformer 捕捉长时程依赖,在 DMLab Rooms 上展示了显著的性能提升,证明了记忆机制在部分可观测环境中的必要性(支撑证据:P19)。此外,视觉-语言-动作(VLA)模型与世界模型的结合是具身智能的前沿方向,世界模型提供未来预测以增强 VLA 的规划能力。LaWAM 和 LiLa-WAM 通过将潜空间预测与动作生成耦合,在 LIBERO 和 RoboTwin 2.0 上超越了纯反应式 VLA 基线,验证了显式未来预测在提升控制鲁棒性中的作用(支撑证据:P37、P43)。

3.2 观点分歧

关于潜空间不确定性量化的可靠性,领域内存在根本分歧。传统 MBRL 观点认为,基于模型预测的不确定性(如 RSSM 的随机性)是有效的探索和安全信号,代表方法为 Dreamer 系列。然而,Biased Dreams (Berger et al., 2026, P26) 指出,潜空间中的不确定性量化往往与安全性负相关,吸引子行为可能掩盖模型误差,导致不确定性估计失效。Learning from World Feedback (Wang, 2026, P41) 进一步主张,学习信号应来自世界反馈(如传感器裕度、时间信号)而非内部模型代理,其在 Safety Gymnasium 等基准上展示了优于传统 MBRL 安全代理的性能。现有证据偏向世界反馈观点,但缺乏统一的基准来量化“不确定性校准”与“安全性能”之间的直接关系,不同任务对传感器依赖程度不同,使得结论具有场景依赖性(支撑证据:P26、P41)。

另一分歧在于生成式目标(像素重建)与非生成式目标(嵌入预测)的优劣。生成式观点认为,像素重建有助于捕捉环境细节,提升视觉复杂场景下的规划精度,代表方法为 DIAMOND 和 DreamerV3。非生成式观点则认为,像素重建是计算冗余,JEPA 等嵌入预测更高效且泛化性更好,代表方法为 LeWorldModel 和 V-JEPA。JEPA Generalization Theory (Cui et al., 2026, P40) 提供了非生成式在有限样本下的泛化界,但缺乏大规模实证对比。证据混合:在 Atari 100k 等视觉密集任务上,DIAMOND 表现优异;但在 DMLab Rooms 等需要长时程记忆和推理的任务上,NE-Dreamer 展现优势。任务类型差异巨大,缺乏跨任务类型的统一评测协议来定输赢(支撑证据:P40、P19)。

3.3 其他开放问题

最紧迫的工程问题是推理延迟与实时控制的冲突。复杂世界模型(如扩散模型)的推理时间超过控制周期,导致实时性差。LaWAM 和 LiLa-WAM 通过潜空间预测和轻量级架构缓解了这一问题,但在资源受限的嵌入式设备上实现高效部署仍是挑战。关键困难在于如何在保持预测精度的同时降低计算开销,研究路径包括量化、剪枝及专用硬件加速。

最根本的研究问题是长时程预测误差累积与层级化世界模型的构建。当前世界模型在长时程任务中预测误差指数级增长,导致规划失效。Hierarchical Planning (Zhang et al., 2026, P25) 提出多时间尺度潜空间世界模型,通过分层规划减少长时程推理的计算复杂度,但需协调不同时间尺度的预测一致性。关键困难在于高层抽象推理与低层精细动作的解耦,研究路径包括引入因果推理和可解释性机制,以支持更可靠的长时程决策。

已知—争议—未知认知图谱显示,领域已知潜空间建模优于像素重建,争议在于不确定性量化的可靠性与生成式目标的必要性,未知则在于长时程因果推理与通用基础世界模型的构建。发展趋势指向构建基于潜空间、具备层级结构和世界反馈机制的通用基础世界模型,核心问题是如何在保持计算效率的同时,确保长时程预测的可靠性和安全性。

4. 总结与展望

世界模型领域的核心矛盾在于计算效率与预测可靠性之间的张力。早期方法通过像素重建换取视觉保真度,却受制于计算冗余与长时程误差累积;近期 JEPA 与潜空间模型通过放弃像素重建换取计算效率与控制相关性,但暴露出表示坍缩与不确定性量化失效的新问题。当前瓶颈在于如何在潜空间中实现可靠的不确定性量化与长时程因果推理,从而构建真正通用的内部模拟器。这一瓶颈回扣了第 1 章的核心问题:如何在计算受限且部分可观测的真实环境中,构建一个既能高效预测未来状态以支持规划,又能准确量化不确定性以保障安全,且具备跨任务泛化能力的内部动力学模拟器。

未来可能突破的方向包括:长时程规划与层级化世界模型,通过多时间尺度表示解耦高层推理与低层动作,解决误差累积问题(P25、P34);世界模型的安全性与鲁棒性评估,建立对抗防御机制与鲁棒性基准,确保分布外输入下的可靠性(P38、P32);通用基础世界模型与跨具身迁移,利用大规模多模态数据预训练,通过参数高效微调实现快速适应(P8、P21)。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评测不同潜空间正则化机制(如 Sub-JEPA 的子空间高斯正则化与 Orthogonal JEPA 的正交约束)在长时程预测与安全性上的权衡,以填补当前理论指导与实证验证之间的空白。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9081 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2695 13
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1287 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11113 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
943 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1315 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。