❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
技术基础：基于稳定视频扩散（SVD）模型，无需微调。
主要功能：生成超出训练视图范围的新视角，减少伪影。
应用场景：广泛应用于虚拟现实、3D内容创建、电影制作等领域。
正文（附运行示例）
ViewExtrapolator 是什么
ViewExtrapolator是由南洋理工大学和UCAS研究团队共同开发的一种新型视图合成方法。它基于稳定视频扩散（Stable Video Diffusion, SVD）技术，能够在不进行微调的情况下，高效生成超出训练视图范围的新视角图像。这种方法通过重新设计SVD的去噪过程，有效优化辐射场或点云渲染中易产生伪影的视图，生成更清晰、更逼真的新视角图像。
ViewExtrapolator不仅在数据和计算上具有高效性，还能广泛应用于不同的3D渲染技术，包括从单视图或单目视频派生的点云渲染。
ViewExtrapolator 的主要功能
- 新视角外推：生成超出训练视图范围的新视角图像，对于提供沉浸式3D体验和自由探索重建的辐射场至关重要。
- 伪影减少：基于稳定视频扩散（SVD）的生成先验，优化由辐射场或点云渲染产生的伪影，提高合成新视角的视觉质量。
- 数据和计算效率：作为一个无需微调SVD的推断阶段方法，在数据和计算上都很高效，让新视角外推更加实用和可访问。
- 广泛的适用性：与不同的3D渲染方法配合使用，包括从单视图或单目视频派生的点云渲染，具有很好的通用性和适应性。
ViewExtrapolator 的技术原理
- SVD去噪过程：基于稳定视频扩散（SVD）模型，模型基于逐步去噪高斯噪声生成视频。
- 引导退火和重采样退火：引入引导退火和重采样退火技术，基于在去噪过程中的不同阶段应用不同程度的引导，有效地修复未见区域并提高视觉质量。
- 多视图一致性：用SVD的多视图一致性，对辐射场或点云渲染中未观测到的部分进行自然视频细节的生成，且保留原始内容，包括相机运动和场景动态。
- 无需训练：用SVD的生成先验进行新视角外推，在数据和计算上都很高效。
- 3D渲染的灵活性：无论是从多视图图像生成的辐射场，还是从单视图生成的点云，ViewExtrapolator都能处理，并有效提升渲染质量。
如何运行 ViewExtrapolator
环境配置
ViewExtrapolator的代码已经在python=3.11, pytorch=2.2.0, CUDA=12.1环境下测试通过。
运行步骤
克隆仓库：
git clone https://github.com/Kunhao-Liu/ViewExtrapolator.git cd ViewExtrapolator多视图图像的新视角外推：
请参考multiview文件夹中的教程，使用3D Gaussian Splatting进行新视角外推。单视图或单目视频的新视角外推：
请参考monocular文件夹中的教程，使用点云进行新视角外推。
资源
- 项目官网：https://kunhao-liu.github.io/ViewExtrapolator/
- GitHub 仓库：https://github.com/Kunhao-Liu/ViewExtrapolator
- arXiv 技术论文：https://arxiv.org/pdf/2411.14208
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
