本文方法主要解决了稀疏惯性动作捕捉（Mocap）中全局位置漂移的问题，因此选取主要测试指标为人体全局位置误差。在TotalCapture和HPS两个公开数据集上和SOTA mocap方法TransPose[3]、TIP[4]和PIP[1]的定量测试结果对比如下表1所示，定性测试结果对比如下图7和图8所示。可以看到本文方法在全局定位精度上大幅超过前人惯性动作捕捉方法（在TotalCapture和HPS上分别提升41%和38%），轨迹与真值的相似度最高。
表1 和惯性动作捕捉工作的全局位置误差定量对比（单位：米）。TotalCapture数据集以动作进行分类，HPS数据集以场景进行分类。针对我们的工作，我们测试9次并汇报中位数和标准差。
图7 和惯性动作捕捉工作的全局位置误差定性对比。真值用绿色表示，不同方法预测结果用蓝色表示。每个图片的角落中展示了人体的运动轨迹和当前位置（橙色圆点）。
图8 和惯性动作捕捉工作的全局位置误差定性对比（视频）。真值用绿色表示，本文方法为白色，前人工作的方法使用其他不同颜色（见图例）。
对比SLAM
本文从定位精度和地图重建精度两个角度分别和SOTA SLAM工作ORB-SLAM3[2]的单目和单目惯性版本进行了对比。定位精度的定量对比结果如表2所示。地图重建精度的定量对比结果如表3所示，定性对比结果如图9所示。可以看到，本文方法相比SLAM大幅提高了系统鲁棒性、定位精度和地图重建精度。
表2 和SLAM工作的定位误差定量对比（误差单位：米）。M/MI分别表示ORB-SLAM3的单目/单目惯性版本，On/Off表示SLAM的实时和离线结果。由于SLAM经常跟踪丢失，针对SLAM我们分别汇报了完整序列（Full）和成功跟踪的帧（Tracked）上的平均定位误差；本文方法不存在跟踪丢失情况，因此我们汇报完整序列的结果。每个方法测试9次并汇报中位数和标准差。对于成功跟踪的帧上的误差，我们额外汇报了成功的百分比。如果一个方法失败过多次，我们标记它为失败（用“-”表示）。
表3 和SLAM工作的地图重建误差定量对比（误差单位：米）。M/MI分别表示ORB-SLAM3的单目/单目惯性版本。针对三个不同场景（办公室、室外、工厂），我们测试所有重建的3D地图点距离场景表面几何的平均误差。每个方法测试9次并汇报中位数和标准差。如果一个方法失败过多次，我们标记它为失败（用“-”表示）。
图9 和SLAM工作的地图重建误差定性对比。我们展示了不同方法重建的场景点，颜色表示每个点的误差。
除此之外，本系统通过引入人体运动先验，针对视觉跟踪丢失的鲁棒性大幅提高。在视觉特征较差时，本系统可以利用人体运动先验持续跟踪，而不会像其他SLAM系统一样跟踪丢失并重置或创建新地图。如下图10所示。
图10 和SLAM工作的遮挡鲁棒性比较。右上角展示了真值轨迹参考。由于SLAM初始化的随机性，全局坐标系和时间戳没有完全对齐。关于更多的实验结果，请参考论文原文、项目主页及论文视频。
总结
本文提出了第一个将惯性动作捕捉 (inertial mocap) 与 SLAM 相结合，实现实时同时进行人体动作捕捉、定位和建图的工作。该系统足够轻量，只需要人体穿戴稀疏的传感器，包括 6 个惯性测量单元和一个手机相机。对于在线跟踪，mocap 和 SLAM 通过约束优化和 Kalman 滤波技术进行融合，从而实现更准确的人体定位。对于后端优化，通过将人体运动先验融入SLAM 中的光束平差优化和闭环优化，进一步减少定位和建图误差。本研究旨在将人体感知与环境的感知融合在一起。尽管本工作主要关注定位方面，但我们相信，这项工作迈出了联合运动捕捉和精细环境感知与重建的第一步。 参考文献[1] Xinyu Yi, Yuxiao Zhou, Marc Habermann, Soshi Shimada, Vladislav Golyanik, Christian Theobalt, and Feng Xu. 2022. Physical Inertial Poser (PIP): Physics-aware Real-time Human Motion Tracking from Sparse Inertial Sensors. In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).[2] Carlos Campos, Richard Elvira, Juan J. Gómez, José M. M. Montiel, and Juan D. Tardós. 2021. ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual-Inertial and Multi-Map SLAM. IEEE Transactions on Robotics 37, 6 (2021), 1874–1890.[3] Xinyu Yi, Yuxiao Zhou, and Feng Xu. 2021. TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors. ACM Transactions on Graphics 40 (08 2021).[4] Yifeng Jiang, Yuting Ye, Deepak Gopinath, Jungdam Won, Alexander W. Winkler, and C. Karen Liu. 2022. Transformer Inertial Poser: Real-Time Human Motion Reconstruction from Sparse IMUs with Simultaneous Terrain Generation. In SIGGRAPH Asia 2022 Conference Papers.
