导读
稀疏传感器与第一人称人体运动捕捉旨在从极少量惯性信号或头戴式视频推断全身姿态,其核心价值在于打破传统光学动捕系统对昂贵硬件与受控环境的依赖。早期研究以确定性回归为主线,通过循环网络将稀疏惯性测量单元(IMU)映射为关节旋转,思路简洁却受制于病态逆问题的多解性。当跨域基准暴露出腿部运动模糊与全局漂移后,研究者引入扩散模型与物理仿真,用生成式先验和力学约束换取运动自然度与全局一致性。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从信号回归到物理一致生成的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
稀疏传感器与第一人称人体运动捕捉的兴起,源于对传统光学动捕系统高成本、强环境依赖及隐私侵入性的反思,以及虚拟现实(VR)、增强现实(AR)和具身智能对轻量化、实时化全身姿态重建的迫切需求。传统系统依赖密集外部相机或大量惯性传感器,不仅硬件负担沉重,且难以在野外或日常穿戴场景中部署。核心任务被形式化为:给定 $N$ 个稀疏传感器(通常 $N \in [3, 6]$)在时间序列 $t$ 上的观测 $o_t$,推断出包含所有关节旋转 $\theta_t$ 和根节点平移 $p_t$ 的完整全身运动状态 $x_t = (\theta_t, p_t)$。这一过程本质上是一个病态逆问题,因为局部信号无法唯一确定全身姿态,尤其是腿部等未观测部位的运动存在严重歧义。
问题定义在 2020 至 2026 年间经历了显著的演化。早期研究假设传感器信号干净且身体形状为标准平均体型,核心约束是算力有限,因此侧重于从“多传感器融合”转向“少传感器推断”。2022 年前后,AvatarPoser 等工作的出现确立了仅利用头戴式显示器(HMD)头部和手部稀疏信号重建全身的可行性,但同时也暴露了严重的多解性问题。随后,问题定义从“确定性回归”演变为“分布建模”,研究者开始关注如何通过生成式先验填补未观测关节的运动,并引入物理一致性约束以消除脚滑和不自然动作。
子问题之间存在强依赖关系,构成了该领域的认知边界。“病态逆问题”是核心瓶颈,必须通过生成式先验或物理约束进行正则化;“全局漂移”是其在空间维度的表现,依赖于多模态融合(如超宽带 UWB 或视觉 SLAM)进行校正;“实时性”则是工程维度的硬约束,与高精度生成式模型构成直接冲突。此外,身体形状差异、传感器噪声与佩戴松动、第一人称视角的自遮挡,共同构成了野外场景下的鲁棒性挑战。这些子问题并非孤立存在,而是相互交织:例如,解决形状差异需要显式建模个体参数,而这又依赖于更精确的局部姿态估计。
2016 至 2018 年是奠基期,Deep Inertial Poser 开创了数据驱动惯性捕捉范式,确立了从稀疏 IMU 端到端估计姿态的基线。2020 至 2022 年,跨域基准与 HMD 专用数据集的出现促使研究重心转向第一视角视觉重建,AvatarPoser 解耦了全局运动与局部关节方向。2023 至 2024 年,生成式模型与多模态融合成为主流,UWB-IMU 融合解决了漂移问题,扩散模型开始介入姿态生成。2025 至 2026 年,研究进一步细化至不确定性建模、物理仿真结合及野外鲁棒性,KineST、ProbIP 等方法代表了当前在效率与精度平衡上的前沿探索。
当前形态呈现出“物理一致的实时生成”趋势,但尚未完全解决毫秒级延迟与长程连贯性的矛盾。实验室受控环境与真实世界之间的分布差距,以及缺乏大规模野外稀疏动捕数据集,仍是制约泛化能力的关键因素。
如果用一个核心问题概括该领域,那便是:在硬件负担最小化与物理/几何约束最大化的双重限制下,如何从局部、噪声、不完整的信号中推断出全局一致、物理合理且具备时间连贯性的全身运动状态。
2. 方法体系
2018:Deep Inertial Poser——利用循环神经网络从稀疏IMU信号端到端估计人体姿态,开创了数据驱动惯性捕捉范式
2021:TransPose——引入多阶段预测框架与关节位置信息,显著提升了稀疏IMU全身重建的准确性与鲁棒性
2022:AvatarPoser——基于Transformer架构从头部与手部稀疏信号解耦全局运动与局部关节方向,确立了HMD全身重建基线
2023:UWB-IMU Fusion——结合超宽带测距与惯性传感器校正漂移,实现无标定多人定位,拓展了稀疏传感空间约束能力
2024:EventHPE——利用事件相机高时间分辨率特性预测连续时间人体运动场,突破传统帧率限制下的动态模糊问题
2025:ProbIP——引入矩阵Fisher分布建模关节旋转不确定性,解决稀疏信号下多模态姿态歧义问题,提升概率预测可靠性
2026:KineST——基于运动学引导的时空状态空间模型,高效处理稀疏IMU信号,降低计算成本并提升全身运动预测精度
2026:EgoForce——利用扩散强制机制实现鲁棒的在线第一视角运动重建,解决实时交互中稀疏噪声输入的因果生成问题
这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Deep Inertial Poser 奠定该领域方法基线,经 2021 年 TransPose 的推进,到 2026 年的 KineST 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 稀疏惯性全身重建
稀疏惯性全身重建路线起源于对轻量级穿戴设备的需求,早期方法如 Deep Inertial Poser 采用循环神经网络进行确定性回归,假设信号干净且形状标准。然而,这种范式在腿部等未观测部位产生严重模糊,无法解决病态逆问题的多解性。2025 年,ProbIP(ICCV 2025, P34)针对这一多模态歧义问题,引入矩阵 Fisher 分布建模关节旋转不确定性,直接利用全局加速度和方向测量值,避免了传统方法对骨盆传感器归一化的依赖。该方法的取舍在于牺牲了单一确定性预测的简洁性,换取了输出多个合理姿态假设的能力,增强了在遮挡或信号缺失场景下的鲁棒性,特别适合需要置信度评估的医疗监测场景。
与此同时,计算效率成为边缘部署的关键瓶颈。KineST(Zhao et al., 2025, P6)针对传统 Transformer 架构在长序列处理上的二次计算复杂度,提出了运动学引导的时空状态空间模型。该模型利用状态空间模型(SSM)的高效线性递归特性,结合双向 SSD 块结构处理时序依赖,并通过时空动力学模块显式建模关节间的运动学约束。KineST 的设计取舍在于牺牲部分全局注意力能力以换取实时性与低参数量,适用于资源受限的设备。与 ProbIP 侧重概率严谨性不同,KineST 侧重工程效率,两者共同推动了稀疏惯性捕捉从离线优化向实时流式处理的转变。
此外,身体形状差异导致的运动偏差也是该路线的重要挑战。Shape-aware Inertial Poser(Yin et al., 2025, P2)通过运动学信号重定向模块将 IMU 信号映射到平均身体形状的模板模型上,解耦形状与运动信息,再通过基于速度的重定向网络将位移映射回真实身体形状。该方法假设 IMU 信号可以通过运动学变换在不同形状间迁移,这一假设在极端体型下可能引入误差,但为个性化运动捕捉提供了有效路径。与 KineST 和 ProbIP 相比,Shape-aware Inertial Poser 更关注个体差异的显式建模,而非时序效率或不确定性量化,三者共同构成了稀疏惯性重建在精度、效率与个性化维度的互补格局。
2.2 第一视角视觉重建
第一视角视觉重建路线旨在解决头戴式设备中身体大部分不可见的问题,早期方法如 AvatarPoser 确立了从头部与手部稀疏信号解耦全局运动与局部关节方向的基线。然而,单帧或短序列方法难以处理长时程运动的时间连贯性。OmniEgoCap(Cho and Joo, 2025, P7)针对长序列处理难题,采用滑动窗口注意力机制,有效避免了标准 Transformer 的二次计算复杂度,实现了相机无关的序列级全身运动重建。其设计取舍在于依赖头部轨迹的准确性,若 SLAM 估计存在漂移,会影响重建质量,但其在长时程视频中保持了良好的时间连贯性,适用于 AR/VR 实时交互。
随着生成式模型的引入,第一视角重建进一步向鲁棒性演进。EgoForce(Hwang et al., 2026, P20)提出基于扩散强制的鲁棒在线重建方法,通过为每帧分配独立噪声水平,实现严格因果生成,解决了实时交互中稀疏噪声输入的因果生成问题。该方法的取舍在于增加了推理计算量,但确保了实时性与因果一致性,相较于 OmniEgoCap 的确定性解码,EgoForce 更能处理动态变化的环境信号。MotionGRPO(Yao et al., 2026, P19)则从强化学习角度切入,利用组相对策略优化框架引导扩散模型采样,避免陷入局部最优解,提升了生成运动的多样性。这些方法共同表明,第一视角视觉重建正从单纯的几何约束转向结合生成式先验的分布建模,以应对自遮挡与视野局限带来的信息缺失。
2.3 多模态融合与定位
多模态融合与定位路线通过引入异构传感器校正全局漂移,解决纯 IMU 系统在开放空间中无法维持全局一致性的问题。2023 年,UWB-IMU 融合技术结合超宽带测距与惯性传感器,实现了无标定多人定位,拓展了稀疏传感的空间约束能力。Group Inertial Poser(Xue et al., 2025, P3)将 UWB 测距信息融入状态空间网络,首次将状态空间模型应用于惯性人体运动估计,并基于优化的初始世界位置估计方法,允许用户从任意位置开始跟踪。该方法的取舍在于依赖 UWB 设备的同步与精度,若测距噪声较大,会影响定位效果,但其在拥挤环境中表现优异,为多人运动捕捉提供了低成本且高精度的解决方案。
物理一致性是该路线的另一核心关注点。Ground Reaction Inertial Poser(Hori et al., 2026, P13)利用仅四个可穿戴设备(手腕与脚部 IMU 及鞋垫压力传感器),采用观察者-控制器结构,通过深度强化学习训练动力学网络,确保生成运动符合物理定律。该方法的取舍在于依赖物理仿真的准确性,若仿真参数不匹配,会影响控制效果,但其在最小传感器配置下实现了高精度运动捕捉,适用于机器人、生物力学与 VR 应用。与 Group Inertial Poser 侧重全局定位不同,GRIP 侧重物理合理性,两者共同推动了多模态融合从“位置校正”向“物理一致生成”的演进。
2.4 非视觉与特殊传感
非视觉与特殊传感路线探索利用事件相机、LiDAR 或 LED 闪烁等突破传统视觉局限的技术。EventHPE(ICCV 2025, P35)利用事件相机的高时间分辨率特性,预测连续时间人体运动场,突破了传统帧率限制下的动态模糊问题。该方法的取舍在于依赖事件相机的噪声特性,若噪声较大,会影响运动场预测精度,但其在高速运动捕捉中提供了毫秒级时间精度的姿态估计。FlashCap(Wu et al., 2026, P15)结合闪烁 LED 与事件视觉,实现了毫秒级精度运动捕捉,提供了高时间分辨率真值标注,进一步突破了传统光学系统的时间瓶颈。
LiDAR 点云路线则侧重于解决遮挡与稀疏性问题。Bézier Degradation Modeling(An et al., 2026, P21)利用贝塞尔曲线建模关节轨迹,通过渐进式运动重建模型以粗到细的方式恢复运动,解决了 LiDAR 点云稀疏性问题。该方法的取舍在于增加了计算复杂度,但确保了时间一致性,适用于自动驾驶与机器人应用。与事件相机路线侧重时间分辨率不同,LiDAR 路线侧重空间几何约束,两者共同丰富了非视觉传感在人体运动理解中的应用场景。
2.5 跨任务与多领域应用
跨任务应用方面,IMU-HOI(Lin et al., 2026, P26)通过接触感知惯性融合框架,同步重建全身运动与物体 6-DoF 轨迹,实现了无相机人机交互捕捉。该方法将接触建模为显式概率信号,门控运动学与惯性假设,提升了鲁棒性,适用于沉浸式 AR/VR 与人机协作场景。Stereo-Inertial Poser(Tang et al., 2026, P12)结合稀疏 IMU 与单目立体相机,实现了度量准确形状感知运动捕捉,适用于机器人交互与模仿学习。这些方法表明,稀疏传感器技术正从单一姿态估计向复杂交互与场景理解扩展。
多领域应用方面,Kineo(Javerliat et al., 2025, P4)提出无标定度量运动捕捉方法,利用稀疏 RGB 相机实现野外环境下的无标记运动捕捉,降低了系统部署难度。MAMMA(CVPR 2026, P37)利用密集 2D 接触感知与可见性感知的表面地标预测,解决了遮挡与物理交互问题,适用于动画制作与机器人学习。这些工作共同推动了运动捕捉技术从实验室向野外、从单人向多人的普及。
3. 关键共识、分歧与开放问题
3.1 领域共识
稀疏 IMU 结合生成式先验是重建全身运动的有效范式,这一共识在多个基准上被反复验证:KineST 的 22.24° 角误差与 ProbIP 的 22.24° 角误差均大幅超越纯回归方法,表明生成式先验在解决病态逆问题多解性方面的必要性(支撑证据:P6、P34)。物理一致性约束对于消除脚滑和不自然姿态至关重要,GRIP 在 PRISM 数据集上的表现虽数值较高,但其物理一致生成范式被广泛认可为提升运动质量的关键手段(支撑证据:P13)。SMPL 模型已成为该领域标准的输出表示,便于跨数据集比较和下游应用,几乎所有方法均采用 SMPL 作为输出格式(支撑证据:P6、P7、P13)。
与此相关的另一个共识是,头部轨迹是稀疏动捕中最可靠的信号,但单独使用头部信号存在严重歧义,必须结合手部或身体其他部位信号。OmniEgoCap 与 EgoForce 在第一视角重建中的优异表现,均依赖于头部轨迹与间歇性手部信号的融合(支撑证据:P7、P20)。现有方法在实验室受控环境下表现良好,但在野外真实场景下的鲁棒性仍是主要短板,HUM4D 与 Nymeria 等野外数据集的引入正是为了弥补这一评测空白(支撑证据:P16、P28)。
3.2 观点分歧
物理约束的介入时机是领域内的核心分歧之一。观点 A 主张物理约束作为后处理优化,保持网络灵活性,如早期 TransPose;观点 B 主张物理约束融入端到端训练,确保生成过程物理一致,如 GRIP。现有证据偏向观点 B,GRIP 在 PRISM 数据集上展示了更低的脚滑误差,但观点 A 在实时性上更具优势。分歧根源在于联合训练的计算成本与实时性需求存在根本冲突,且物理仿真参数难以完美匹配真实世界,导致证据场景依赖性强(支撑证据:P13)。
这一分歧的背后,是另一个更根本的争论:不确定性建模的几何严谨性与计算效率。观点 A 使用矩阵 Fisher 分布建模 SO(3) 流形上的旋转不确定性,几何严谨,如 ProbIP 与 FisherPoser;观点 B 使用扩散模型采样,灵活且能捕捉复杂分布,但缺乏理论保证,如 EgoForce 与 MotionGRPO。观点 A 在理论框架上更严谨,适合医疗监测等需置信度评估的场景;观点 B 在生成多样性上表现更优。目前缺乏统一的“不确定性质量”指标,难以直接比较,且两种方法在下游任务中的表现差异尚未充分验证(支撑证据:P34、P32、P20、P19)。
3.3 其他开放问题
最紧迫的工程问题是实时性与低延迟推理。当前许多高精度模型依赖离线优化或长序列上下文,难以满足 VR/AR 应用的实时需求。关键困难在于平衡计算复杂度与重建精度,潜在路径包括开发轻量级架构(如 SSM)和因果生成模型(如扩散强制),以支持流式处理(支撑证据:P6、P20)。最根本的研究问题是野外场景的鲁棒性与泛化能力。实验室数据集与野外环境存在显著差距,关键困难在于数据分布偏移和传感器噪声,潜在路径包括使用大规模野外数据集进行预训练,引入几何感知的可见性建模,以及增强模型对传感器故障的容错能力(支撑证据:P23、P16)。
已知—争议—未知认知图谱显示,领域在“稀疏信号+生成式先验”范式上已达成共识,但在物理约束介入时机与不确定性建模方式上存在争议,而在个体形状感知、多人员交互全局轨迹恢复及隐私保护非侵入式捕捉方面仍属未知。发展趋势将向“物理一致的实时生成”与“野外鲁棒性”双轮驱动演进。
4. 总结与展望
稀疏传感器与第一人称人体运动捕捉领域的核心矛盾在于稀疏信号的信息缺失与全身运动重建完整性需求之间的张力。从确定性回归到生成式先验,再到物理一致生成,研究者不断尝试在精度、实时性与鲁棒性三角中寻找平衡。核心瓶颈在于如何在毫秒级延迟内,结合稀疏信号、生成式先验与物理约束,实现野外场景下的高精度、鲁棒全身运动重建,这一挑战回扣了领域从“能否重建”到“如何鲁棒重建”的认知演进。
未来可能突破的方向包括:一是实时性与低延迟推理,KineST 与 EgoForce 共同指向轻量级架构与因果生成模型的路径;二是复杂动作与物理交互建模,GRIP 与 IMU-HOI 共同指向物理仿真与接触感知融合的路径;三是野外场景的鲁棒性与泛化能力,AnyMo 与 HUM4D 共同指向配置无关建模与大规模野外数据集的路径。对于进入者,最值得做的一件事是在统一骨干与统一预训练条件下,系统评测不同不确定性建模方式(矩阵 Fisher vs. 扩散采样)在下游任务(如意图识别)中的表现,以填补当前评测协议的空白。
以上为节选,完整内容见ArxivReview