导读
铰接物体重建旨在从视觉观测中同时恢复几何外观与运动学结构,其核心价值在于为机器人操作与具身智能提供可交互的数字孪生。早期研究依赖专家手动建模,成本高且难以规模化,随后神经辐射场与3D高斯泼溅的引入确立了基于优化的重建范式,但测试时优化速度慢且泛化能力受限。当单视图运动歧义与数据稀缺问题暴露后,研究者转向前馈式生成与基础模型驱动,利用视觉语言模型进行语义推理与伪标签生成,显著提升了效率与开放集泛化能力。各路线在精度、效率与物理一致性之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从静态几何到动态交互的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
铰接物体由通过关节连接的刚性部件组成,其建模需同时恢复几何与运动学结构,这是VR/AR、机器人操作及具身智能对高保真可交互数字孪生的迫切需求。早期研究依赖专家手动建模,成本高且难以规模化,关键转折点始于神经辐射场(NeRF)和3D高斯泼溅(3DGS)的引入,使得从多视图图像中恢复几何与运动结构成为可能。问题形式化通常定义为:给定一组多视图图像 $I = {Ii}{i=1}^N$ 或单视图图像,预测物体的部件分割 $S$、关节类型 $T$、关节轴 $A$ 及枢轴点 $P$,即求解映射 $f: I \rightarrow (S, T, A, P)$。这一形式化确立了“几何+运动”联合恢复的基本范式,但子问题间存在强依赖关系:部件分割是估计运动参数的前提,运动参数估计依赖于几何结构的准确性,而几何与运动的联合一致性又是生成仿真就绪(Sim-ready)资产的基础。
范式边界在早期较为清晰,重建(Reconstruction)基于观测恢复,生成(Generation)基于先验合成。然而,随着前馈式方法的兴起,这一界限日益模糊,趋向统一。约束演化史揭示了方法如何因应约束变化而演变:2016-2018年,URDFormer(2019)开创了从2D视觉数据直接推断3D运动学结构的前馈范式,奠定了方法基线。2022年,PARIS确立基于神经隐式表示的物体级重建标准流程,解决了静态网格缺乏运动信息的问题,但假设相机静止且物体状态已知。2024年,LRM将单图3D重建转化为前馈预测任务,推动从优化式向后馈式范式的转变,显著提升了重建速度与几何保真度。2025-2026年,研究进入“开放集”与“大规模数据”阶段,SPARK、ArtLLM等模型引入VLM/LLM进行语义理解与伪标签生成,FreeArtGS拓展至自由移动场景,旨在消除Sim-to-Real差距。
这一演进过程反映了从“理想化多状态优化”到“未知状态下的运动推断”,再到“场景级语义-运动联合理解”的问题定义演化。当前形态下,核心焦点在于解决单视图/单状态下的运动歧义、内部结构恢复以及从静态资产到动态交互资产的自动化转换。
如果用一个核心问题概括该领域,那便是如何在缺乏密集运动标注的条件下,从稀疏视觉观测中自动化地推断出物理可行且语义一致的铰接运动学结构,以构建可交互的数字孪生。
2. 方法体系
2019:URDFormer——基于Transformer架构从单视图图像直接预测URDF参数,开创前馈范式
2022:PARIS——利用多状态点云对齐与可微渲染,确立基于神经隐式表示的重建标准流程
2023:SINGAPO——引入扩散模型条件生成,实现从单图到完整可动资产的生成式建模
2024:LRM——将单图3D重建转化为前馈预测任务,推动从优化式向后馈式范式的转变
2025:ArtGS——基于3DGS引入运动约束,解决NeRF方法在提取显式网格时的拓扑丢失问题
2025:SPARK——整合VLM知识与DiT生成模型,实现语义与几何协同的可动资产生成
2026:LARM——大型可动物体重建模型,从稀疏视图图像合成任意相机位姿与新关节状态
2026:SARe——结构感知的大规模3D碎片重装配方法,解决碎片数量增加导致的组合爆炸问题
这条时间线勾勒了该领域方法演进的代表性节点:从2019年的URDFormer奠定该领域方法基线,经2022年PARIS的推进,到2026年的SARe代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 优化式重建
优化式重建基于3DGS或NeRF的可微渲染框架,通过迭代优化恢复部件分割、关节参数及完整几何结构。该路线起源于PARIS(2022),其利用多状态点云对齐与可微渲染,确立了基于神经隐式表示的物体级重建标准流程,解决了静态网格缺乏运动信息的问题。然而,NeRF在提取显式网格时存在拓扑丢失问题,无法满足Sim-ready资产对显式几何的需求。ArtGS(2025)针对这一短板,基于3DGS引入运动约束,通过优化恢复部件级几何与关节参数,解决了NeRF方法在提取显式网格时的拓扑丢失问题,提升了渲染效率与几何精度。ArtGS放弃了NeRF的隐式表示优势,换取了显式表示在物理仿真兼容性上的绝对优势,但代价是高斯原语难以直接表达尖锐边界,需额外约束处理部件重叠。
FreeArtGS(2026)进一步拓展了优化式重建的适用场景,针对自由移动场景的可动高斯泼溅重建,联合估计相机位姿与关节状态,解决了固定相机假设下的重建失效问题。该方法放弃了固定相机假设,换取了野外场景的适应性,但代价是优化变量增加,收敛速度较慢,且对初始位姿估计敏感。ArtMesh(2026)则提出部件感知可动网格场方法,通过运动一致动力学恢复部件级几何与关节运动,利用部件感知受限Delaunay三角剖分消除跨部件三角形,确保每个部件内流形结构完整。ArtMesh放弃了高斯表示的渲染效率,换取了显式网格表示在物理仿真中的直接可用性,但代价是网格优化计算复杂,且对尖锐结构敏感。
优化式重建路线在精度与鲁棒性上具有优势,但受限于计算成本与泛化能力。与前馈式重建相比,优化式方法牺牲效率换精度,适合高精度单物体重建,但无法规模化处理海量物体。与生成式建模相比,优化式方法依赖观测数据,而生成式方法依赖先验合成,两者在数据稀缺场景下形成互补。
2.2 前馈式重建
前馈式重建利用Transformer或扩散模型,从稀疏图像或网格直接预测几何、部件及运动参数,实现快速端到端重建。该路线起源于URDFormer(2019),其基于Transformer架构从单视图图像直接预测URDF参数,开创了从2D视觉数据直接推断3D运动学结构的前馈范式。然而,URDFormer依赖高质量的多阶段输入数据,且计算复杂度随部件数量线性增长。LRM(2024)将单图3D重建转化为前馈预测任务,利用大规模预训练数据学习物体级先验,显著提升了重建速度与几何保真度,推动了从优化式向后馈式范式的转变。LRM放弃了逐物体优化的精度,换取了跨物体泛化潜力与实时应用支持,但代价是受限于训练数据分布,对未见类别或复杂拓扑泛化能力弱。
LARM(2026)构建大型可动物体重建模型,从稀疏视图图像中合成任意相机位姿与新关节配置下的视图,并支持显式3D网格重建。模型采用前馈架构,直接预测连续关节状态下的几何与外观,突破了传统方法对密集多视图输入的依赖。LARM放弃了优化式方法的迭代精炼,换取了从离散状态到连续运动的泛化能力,但代价是依赖大规模配对数据训练,且潜在空间的压缩可能损失部分高频几何细节。Particulate(2025)提出前馈式3D物体运动结构预测方法,从单个静态3D网格直接预测可动部件、运动树与运动约束。Particulate放弃了多状态输入,换取了静态几何推断潜在运动能力,解决了动态数据获取困难的问题,但代价是推断结果依赖几何先验,对于复杂运动或遮挡严重的部件可能产生歧义。
前馈式重建路线在效率与泛化上具有优势,但受限于训练数据的质量与多样性。与优化式重建相比,前馈式方法牺牲精度换效率,适合实时应用与规模化处理,但在复杂拓扑与遮挡下精度不足。与生成式建模相比,前馈式方法依赖观测数据,而生成式方法依赖先验合成,两者在数据稀缺场景下形成互补。
2.3 生成式建模
生成式建模结合扩散模型或生成式先验,从单图、文本或静态网格合成具有物理一致性的可动3D资产。该路线起源于SINGAPO(2023),其引入扩散模型条件生成,结合静止状态图像引导可动物体的几何与运动参数合成,实现了从单图到完整可动资产的生成式建模。然而,SINGAPO依赖视频先验的生成质量,且辩论过程计算开销大。SPARK(2025)整合VLM知识与DiT生成模型,从单图生成部件级网格并估计URDF参数,通过可微优化模块精炼关节信息,实现了语义与几何协同的可动资产生成。SPARK放弃了纯几何方法的可靠性,换取了VLM语义推理在消解运动歧义上的优势,但代价是VLM推理依赖性强,且DiT生成质量受限于训练数据。
ArtLLM(2026)利用3D LLM自回归预测运动学结构,将URDF表示为Token序列,结合部件感知生成模型合成几何,实现了语言驱动的可动资产生成新范式。ArtLLM放弃了传统几何方法的精确性,换取了LLM推理能力在处理复杂运动结构上的优势,但代价是LLM推理速度慢,且Token化表示可能损失部分几何细节。ArtiLatent(2025)提出基于结构化潜变量的真实可动物体生成方法,合成具有细粒度几何、物理合理运动与真实外观的3D物体。ArtiLatent放弃了显式表示的直接可用性,换取了结构化潜变量在编码几何与运动上的协同优化能力,但代价是VAE训练复杂,且高斯解码器计算开销大。
生成式建模路线在多样性与零样本泛化上具有优势,但物理可行性(碰撞、动力学)仍是瓶颈。与前馈式重建相比,生成式方法牺牲物理一致性换多样性,适合数据稀缺场景下的资产合成,但在几何保真度上略逊。与优化式重建相比,生成式方法依赖先验合成,而优化式方法依赖观测数据,两者在数据稀缺场景下形成互补。
2.4 场景感知与交互
场景感知与交互从第一人称视频或真实场景中感知可动物体,构建语义运动场景图以支持机器人操作与数字孪生。该路线起源于PAWS(2024),其从第一人称视频中大规模感知可动物体,结合手部交互线索估计关节参数,构建了场景级运动学图。然而,PAWS依赖视频质量与手部检测精度,且场景级推理计算开销大。Pandora(2026)从第一人称视觉构建可动3D场景图,通过关键点检测与关节参数估计,支持机器人对动态环境的语义运动推理。Pandora放弃了静态场景图的简洁性,换取了动态环境表示的实时性,但代价是实时性要求高,且对交互序列分割敏感。
ArtiWorld(2025)提出LLM驱动的3D物体场景可动化方法,将刚性3D资产转化为可动物体以支持仿真。ArtiWorld放弃了传统几何方法的精确性,换取了LLM语义推理在处理物体间关系上的优势,但代价是LLM推理依赖性强,且URDF转换可能丢失部分几何细节。MoMaSG(2026)提出开放世界移动操作的可动3D场景图构建方法,从可动演示中构建语义-运动场景图。MoMaSG放弃了单物体重建的聚焦性,换取了场景级语义-运动融合的能力,但代价是点跟踪对遮挡敏感,且场景图构建计算开销大。
场景感知与交互路线在场景级理解与机器人交互上具有优势,但计算开销大,需处理物体间遮挡与交互。与前馈式重建相比,场景感知方法牺牲单物体精度换场景级泛化,适合机器人操作中的动态环境推理,但在单物体重建精度上不足。与生成式建模相比,场景感知方法依赖观测数据,而生成式方法依赖先验合成,两者在数据稀缺场景下形成互补。
2.5 部件组装与重装配
部件组装与重装配研究机械装配序列预测、碎片重装配及互锁结构生成,关注部件间的物理连接与空间约束。该路线起源于E-M3RF(2025),其提出等变多模态3D重装配框架,融合几何与颜色特征预测碎片刚性变换,通过流式估计器处理对称碎片歧义。然而,E-M3RF依赖颜色特征的光照一致性,且流式估计计算复杂。SARe(2026)提出结构感知的大规模3D碎片重装配方法,通过查询点条件化生成接触图,结合推理时精炼机制,解决了碎片数量增加导致的组合爆炸与精度下降问题。SARe放弃了纯几何特征的可靠性,换取了结构感知在处理大规模碎片上的优势,但代价是生成与精炼两阶段计算开销大,且依赖查询点质量。
PVRA(2026)提出点级关键点投票的机器人组装框架,感知组装配置并推理空间、时间与关系依赖。PVRA放弃了传统点云匹配的精确性,换取了关键点投票在处理复杂形状上的鲁棒性,但代价是关键点提取依赖质量,且图推理计算复杂。RL-Lock(2026)提出基于强化学习的互锁组装生成方法,通过MDP建模组装过程,利用MCTS与神经网络引导生成互锁结构。RL-Lock放弃了传统组装依赖外部连接器的局限性,换取了互锁约束在生成稳定结构上的优势,但代价是RL训练时间长,且MCTS搜索空间大。
部件组装与重装配路线在物理连接与空间约束上具有优势,但计算开销大,需处理复杂拓扑与多物体交互。与前馈式重建相比,部件组装方法牺牲单物体重建速度换组装序列预测的准确性,适合工业制造与机器人组装任务,但在单物体重建效率上不足。与生成式建模相比,部件组装方法依赖观测数据,而生成式方法依赖先验合成,两者在数据稀缺场景下形成互补。
3. 关键共识、分歧与开放问题
3.1 领域共识
铰接物体建模需同时恢复几何外观与运动学结构,二者缺一不可,且运动学结构是物体交互能力的核心。这一共识在多个基准上被反复验证:ArtMesh的0.87 CD-w与ArtiLatent的0.405 gIoU均大幅超越PARIS的1.32 CD-w与NAP的0.259 gIoU,表明几何与运动的联合恢复是提升重建质量的关键。与此相关的另一个共识是,自动化重建与生成是满足VR/AR、机器人及具身智能需求的关键路径。Instruct-Particulate的18.1° AE与LARM的稀疏视图重建能力均表明,前馈式方法在效率与泛化上具有显著优势,能够替代昂贵且难以规模化的专家手动建模。
3.2 观点分歧
前馈式与优化式在效率与精度的取舍上存在根本分歧。前馈派(LARM, Particulate)认为效率与泛化是规模化应用的关键,优化法仅适用于离线高精度场景;优化派(ArtGS, REArtGS++)认为前馈法在复杂拓扑与遮挡下精度不足,优化法通过迭代可逼近真值,是Sim-ready资产的必要保障。现有证据显示,在PartNet-Mobility标准测试集上,前馈法(Instruct-Particulate 18.1° AE)已接近优化法(ArtMesh 0.87 CD-w,换算后精度相当),但在复杂多关节物体(ArtGS-Multi)上,优化法仍保持优势。这一分歧的背后,是另一个更根本的争论:语义驱动与几何驱动在运动歧义消解中的主导因素。语义派(SPARK, ArtLLM)认为VLM/LLM的常识推理是消解单视图运动歧义的关键,几何派(Artic-O, GEOPARD)认为视觉几何线索更可靠,语义模型易产生幻觉。目前证据偏向“混合驱动”,即几何为主、语义为辅,但缺乏细粒度的“语义-几何”贡献度消融实验,VLM的幻觉问题在复杂场景下难以量化。
3.3 其他开放问题
当前领域处于“工程可行”与“研究未知”的交界。最紧迫的工程问题包括数据标注自动化与物理引擎集成。高质量铰接数据稀缺且标注昂贵,阻碍了大规模模型训练,潜在路径包括利用VLM/LLM进行自动标注、基于物理仿真的数据合成。最根本的研究问题包括高自由度运动链建模、开放集泛化及场景级交互推理。现有方法多局限于单自由度或浅层树状结构,难以处理串联运动链、闭环机构及多自由度关节,难点在于现有数据集缺乏此类复杂结构的标注,且优化过程易陷入局部最优。已知—争议—未知认知图谱显示,几何与运动联合恢复是共识,前馈与优化的取舍是争议,复杂运动链与开放集泛化是未知。发展趋势是基础模型(VLM/LLM)与物理引擎的深度融合将定义下一代数字孪生标准。
4. 总结与展望
铰接物体重建与部件组装正从“被动重建”走向“主动生成”,核心目标是在数据稀缺条件下实现物理可行的动态资产自动化构建。这一演进过程反映了从“理想化多状态优化”到“未知状态下的运动推断”,再到“场景级语义-运动联合理解”的问题定义演化。核心瓶颈在于单视图运动歧义、内部结构恢复以及从静态资产到动态交互资产的自动化转换,旨在消除Sim-to-Real差距。
未来可能突破的方向包括:1)统一生成与重建框架,利用物理仿真反馈微调生成模型,实现“物理感知”的端到端生成(SPARK, ArtLLM共同指向);2)扩展至复杂运动学结构,引入物理约束优化、层级自回归装配及更丰富的运动先验(E-M3RF, SARe共同指向);3)提升开放集泛化能力,利用AIGC合成数据、结合VLM/LLM的常识推理(Instruct-Particulate, ArtiWorld共同指向)。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下重评测代表性方法,以厘清前馈式与优化式在复杂拓扑与遮挡下的真实性能差异。
以上为节选,完整内容见ArxivReview