ViewExtrapolator:南洋理工联合UCAS团队推出的新型视图合成方法

本文涉及的产品
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,图像通用资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 南洋理工大学与UCAS团队联合推出了一种新型视图合成方法——ViewExtrapolator。该方法基于稳定视频扩散(SVD)技术,能够在不进行微调的情况下,高效生成超出训练视图范围的新视角图像,显著减少伪影,提升视觉质量。ViewExtrapolator具有广泛的应用前景,尤其在虚拟现实、3D内容创建、电影制作等领域。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

技术基础:基于稳定视频扩散(SVD)模型,无需微调。
主要功能:生成超出训练视图范围的新视角,减少伪影。
应用场景:广泛应用于虚拟现实、3D内容创建、电影制作等领域。

正文(附运行示例)

ViewExtrapolator 是什么

公众号: 蚝油菜花 - ViewExtrapolator

ViewExtrapolator是由南洋理工大学和UCAS研究团队共同开发的一种新型视图合成方法。它基于稳定视频扩散(Stable Video Diffusion, SVD)技术,能够在不进行微调的情况下,高效生成超出训练视图范围的新视角图像。这种方法通过重新设计SVD的去噪过程,有效优化辐射场或点云渲染中易产生伪影的视图,生成更清晰、更逼真的新视角图像。

ViewExtrapolator不仅在数据和计算上具有高效性,还能广泛应用于不同的3D渲染技术,包括从单视图或单目视频派生的点云渲染。

ViewExtrapolator 的主要功能

  • 新视角外推:生成超出训练视图范围的新视角图像,对于提供沉浸式3D体验和自由探索重建的辐射场至关重要。
  • 伪影减少:基于稳定视频扩散(SVD)的生成先验,优化由辐射场或点云渲染产生的伪影,提高合成新视角的视觉质量。
  • 数据和计算效率:作为一个无需微调SVD的推断阶段方法,在数据和计算上都很高效,让新视角外推更加实用和可访问。
  • 广泛的适用性:与不同的3D渲染方法配合使用,包括从单视图或单目视频派生的点云渲染,具有很好的通用性和适应性。

ViewExtrapolator 的技术原理

  • SVD去噪过程:基于稳定视频扩散(SVD)模型,模型基于逐步去噪高斯噪声生成视频。
  • 引导退火和重采样退火:引入引导退火和重采样退火技术,基于在去噪过程中的不同阶段应用不同程度的引导,有效地修复未见区域并提高视觉质量。
  • 多视图一致性:用SVD的多视图一致性,对辐射场或点云渲染中未观测到的部分进行自然视频细节的生成,且保留原始内容,包括相机运动和场景动态。
  • 无需训练:用SVD的生成先验进行新视角外推,在数据和计算上都很高效。
  • 3D渲染的灵活性:无论是从多视图图像生成的辐射场,还是从单视图生成的点云,ViewExtrapolator都能处理,并有效提升渲染质量。

如何运行 ViewExtrapolator

环境配置

ViewExtrapolator的代码已经在python=3.11, pytorch=2.2.0, CUDA=12.1环境下测试通过。

运行步骤

  1. 克隆仓库

    git clone https://github.com/Kunhao-Liu/ViewExtrapolator.git
    cd ViewExtrapolator
    
  2. 多视图图像的新视角外推
    请参考multiview文件夹中的教程,使用3D Gaussian Splatting进行新视角外推。

  3. 单视图或单目视频的新视角外推
    请参考monocular文件夹中的教程,使用点云进行新视角外推。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
10月前
|
人工智能 数据处理 异构计算
LongRAG:智谱联合清华和中科院推出的双视角鲁棒检索框架
LongRAG是由智谱、清华大学和中国科学院联合推出的双视角鲁棒检索增强生成框架,专为长文本问答设计。该框架通过混合检索器、LLM增强信息提取器、CoT引导过滤器和LLM增强生成器等组件,有效解决了长文本问答中的全局上下文理解和事实细节识别难题。LongRAG在多个数据集上表现优异,提供了自动化微调数据构建管道,增强了系统的“指令跟随”能力和领域适应性。
289 1
LongRAG:智谱联合清华和中科院推出的双视角鲁棒检索框架
|
9月前
|
人工智能
Fancy123:华中科技和华南理工推出的3D网格生成技术
Fancy123是由华中科技大学和华南理工大学联合推出的3D网格生成技术,能够从单张图片生成高质量的3D网格。该技术通过即插即用的变形技术,解决了多视图图像的局部不一致性,提高了网格对输入图像的保真度,并确保了高清晰度。Fancy123在定性和定量实验中表现出色,能够无缝集成到现有的单图像到3D的方法中。
130 5
Fancy123:华中科技和华南理工推出的3D网格生成技术
|
10月前
|
机器学习/深度学习 人工智能 监控
AutoTrain:Hugging Face 开源的无代码模型训练平台
AutoTrain 是 Hugging Face 推出的开源无代码模型训练平台,旨在简化最先进模型的训练过程。用户无需编写代码,只需上传数据即可创建、微调和部署自己的 AI 模型。AutoTrain 支持多种机器学习任务,并提供自动化最佳实践,包括超参数调整、模型验证和分布式训练。
898 4
AutoTrain:Hugging Face 开源的无代码模型训练平台
|
10月前
|
人工智能 算法 数据挖掘
StoryTeller:字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
StoryTeller是由字节跳动、上海交通大学和北京大学共同推出的全自动长视频描述生成系统。该系统通过音频视觉角色识别技术,结合低级视觉概念和高级剧情信息,生成详细且连贯的视频描述。StoryTeller在MovieQA任务中展现出比现有模型更高的准确率,适用于电影制作、视频内容分析、辅助视障人士等多个应用场景。
460 0
StoryTeller:字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
Vue3——基于tdesign封装一个通用的查询组件
Vue3——基于tdesign封装一个通用的查询组件
293 3
|
10月前
|
人工智能 搜索推荐 API
Perplexica:开源 AI 搜索引擎,Perplexity AI 的开源替代品,支持多种搜索模式、实时信息更新
Perplexica 是一款开源的 AI 驱动搜索引擎,支持多种搜索模式和实时信息更新,适用于个人、学术和企业等不同场景。
1054 6
Perplexica:开源 AI 搜索引擎,Perplexity AI 的开源替代品,支持多种搜索模式、实时信息更新
|
9月前
|
编解码 人工智能
FreeScale:无需微调即可提升模型的图像生成能力,生成 8K 分辨率的高质量图像
FreeScale是一个无需微调的推理框架,旨在提升扩散模型生成高分辨率图像和视频的能力。该框架通过处理和融合不同尺度的信息,首次实现了8K分辨率图像的生成,显著提高了生成内容的质量和保真度,同时减少了推理时间。
259 20
FreeScale:无需微调即可提升模型的图像生成能力,生成 8K 分辨率的高质量图像
|
10月前
|
机器学习/深度学习 人工智能 Python
MuCodec:清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器
MuCodec是由清华大学深圳国际研究生院、腾讯AI实验室和香港中文大学联合开发的超低比特率音乐编解码器。它能够在0.35kbps至1.35kbps的比特率下实现高效的音乐压缩和高保真重建,适用于在线音乐流媒体服务、音乐下载、语言模型建设等多个应用场景。
225 1
MuCodec:清华、腾讯AI、港中文共同推出的超低比特率音乐编解码器
|
10月前
|
存储 前端开发 测试技术
React组件的最佳实践
React组件的最佳实践
|
10月前
|
设计模式 Java Kotlin
Kotlin教程笔记(56) - 改良设计模式 - 装饰者模式
Kotlin教程笔记(56) - 改良设计模式 - 装饰者模式

热门文章

最新文章