在CVPR 2024会议上，南洋理工大学的研究团队提出了一种名为SurMo的新型动态人体渲染范式。该方法在动态人体渲染领域取得了显著的进展，能够高度还原出视频序列中人物的动作和外观，包括飞扬的裙摆等细节。
动态人体渲染是指根据人物的静态姿势生成对应的动态图像，这一技术在电影制作、游戏开发等领域有着广泛的应用。然而，现有的动态人体渲染方法往往只关注于单帧图像中人物外观的重建，而对人物动作的连续性和时间关系缺乏充分的探索。
为了解决这个问题，SurMo采用了一种全新的4D运动建模方法。它通过三个关键设计，实现了对人物动作和外观的联合建模：
首先，SurMo采用了基于表面的运动编码方式。它使用一种高效紧凑的表面基三角平面来描述4D人体运动。这种编码方式不仅能够在密集的表面流形上捕捉到空间和时间上的动作关系，还能够继承人体拓扑结构先验，从而在训练样本稀疏的情况下实现具有良好泛化能力的新颖视角合成。
其次，SurMo采用了物理运动解码方式。在训练阶段，它通过解码时间步t的运动三角平面特征来预测下一个时间步t+1的时空导数，从而鼓励模型学习到更符合物理规律的运动模式。
最后，SurMo采用了4D外观解码方式。它使用一种高效的体素表面条件渲染器，将运动三角平面渲染成图像。这种渲染器专注于身体表面的渲染，并利用运动学习进行条件化，从而能够生成高保真、视角一致的人体图像，甚至包括快速运动和运动依赖的阴影效果。
通过大量的实验验证，SurMo在动态人体渲染任务上取得了最先进的性能。它能够高度还原出人物的动作和外观，包括快速运动和复杂的身体姿势。此外，SurMo还展示了表面基运动三角平面在表达能力上的优越性，能够生成高质量的动态人体图像。
然而，SurMo也存在一些局限性。首先，由于它采用了基于表面的运动编码方式，对于一些复杂的人体动作，如手指的精细运动，可能无法完全捕捉到。其次，SurMo的训练和推理过程可能需要较大的计算资源，这对于一些实时应用场景可能存在挑战。
