论文标题：Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling
作者团队：多伦多大学、向量研究院、Snap公司
发布时间：2025年10月28日
✅Lab4AI平台提供AI导读和AI翻译等工具，辅助论文阅读。您还可以投稿复现这篇论文~
⭐核心贡献
该研究提出了TIRE（Track, Inpaint, Resplat），一种新的主体驱动3D/4D生成方法：
- 创新方法：提出三阶段方法（Track, Inpaint, Resplat），分别用于识别需要填充的区域、逐步填充未观察到的区域以及将2D填充观察结果重新投影回3D空间。
- 高效性能：在构建的DreamBooth-Dynamic基准测试和野外数据上展示了TIRE在主体驱动3D/4D生成方面的优越性能。
- 互补性：与其他领先的3D/4D生成方法形成正交且互补的关系，共同推动该领域的研究进展。
⭐研究方法
TIRE由三个关键步骤组成：
- 1.Track：使用长视频跟踪来识别其他视角中需要填充的区域。
- 2.Inpaint：采用定制的2D填充模型逐步填充Track识别出的未见区域，并确保填充内容与给定源视图中主体的身份匹配。
- 3.Resplat：将Inpaint生成的多视角2D填充观察结果重新投影回3D空间，同时保持多个视角之间的一致性。
具体实现流程如下：
- Track阶段：利用视频跟踪模型CoTracker从多视图渲染中找到源视图和目标视图之间的对应关系，识别需要填充的区域。
- Inpaint阶段：使用定制的2D填充模型逐步填充识别出的未见区域。
- Resplat阶段：将2D填充观察结果重新投影回3D空间，保持一致性。
