3D深度学习火了!NVIDIA NeurIPS论文:训练AI迅速将2D图像转换成3D模型

简介: 3D深度学习火了!NVIDIA NeurIPS论文:训练AI迅速将2D图像转换成3D模型

NVIDIA的研究团队开发出一个人工智能系统,它可以在不需要任何3D训练数据的情况下,预测2D图像的3D特征。该项研究成果会在NIPS(Neural Information Processing Systems)年会上公布;今年的NIPS年会有超过13000名与会者,是今年最大的人工智能研究会议。


这项工作由加拿大向量学院(Vector Institute)、多伦多大学(University of Toronto)、Nvidia Research、阿尔托大学(Aalto University)共同完成,相关研究的细节呈现在论文《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》中。


image.png

论文链接:https://nv-tlabs.github.io/DIB-R/files/diff_shader.pdf


Nvidia的人工智能总监和论文合著者Sanja Fidler说:“公司下一步可能会尝试将可微渲染框架(Differentiable Rendering Framework,DIB-R)扩展到更复杂的任务,比如为多个对象或整个场景渲染三维模型;这样的工作可以应用于游戏、AR/VR、机器人或目标跟踪系统中。”


Fidler还说:“关于三维深度学习目前很多公司已经做了一些工作,如Facebook AI Research与DeepMind也能将二维转化成三维AI,但DIB-R是第一个可以通过二维图像预测几个关键的三维特征(如对象的形状、三维几何、颜色和纹理)的神经或者深度学习架构之一。因此尽管之前有很多研究,但没有一个能真正同时预测所有这些关键属性的研究;它们不是专注于预测几何形状就是专注于预测颜色,而不是同时预测形状、颜色、纹理和光线;而我们的这项研究是真正完成了——不是完全完成,但却是对一个场景中的对象更加完整的理解。


image.png


NeurIPS的一项相关工作是试图根据人们的声音来预测他们的“声之形”。


Fidler说:“我认为这是一个非常有趣的领域,我们没有在这篇特别的论文中解决这个问题;但就深度学习而言,这是另一个有趣的输入,当提供给神经结构后就可以得到非常好的三维信息;如今,我认为这绝对是有效的。


DIB-R是在Nvidia今年发布Kaolin(Kaolin是Nvidia的三维深度学习库,拥有一系列的模型来帮助开发人员开始使用神经网络进行三维处理)之后发布的,Nvidia会在NeurIPS上公布五篇论文:《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》、《Joint-task Self-supervised Learning for Temporal Correspondence》、《Dancing to Music》、《Few-shot Video-to-Video Synthesis》、《Exact Gaussian Processes on a Million Data Points》。


参考资料:

https://venturebeat.com/2019/12/09/nvidia-trains-ai-to-transform-2d-images-into-3d-models/


相关文章
|
2天前
|
机器学习/深度学习 人工智能 编解码
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
Lumina-Image 2.0 是上海 AI Lab 开源的高效统一图像生成模型,参数量为26亿,基于扩散模型和Transformer架构,支持多种推理求解器,能生成高质量、多风格的图像。
56 17
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
|
2月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
189 73
|
21天前
|
人工智能 编解码 自然语言处理
CogView-3-Flash:智谱首个免费AI图像生成模型,支持多种分辨率,快速生成创意图像
CogView-3-Flash 是智谱推出的首个免费AI图像生成模型,支持多种分辨率,快速生成高质量图像,广泛应用于广告、设计、艺术创作等领域。
55 6
CogView-3-Flash:智谱首个免费AI图像生成模型,支持多种分辨率,快速生成创意图像
|
1月前
|
机器学习/深度学习 人工智能 编解码
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法,能够生成超高分辨率图像,突破传统扩散模型的内存限制,适用于多种实际应用场景。
92 21
Inf-DiT:清华联合智谱AI推出超高分辨率图像生成模型,生成的空间复杂度从 O(N^2) 降低到 O(N)
|
1月前
|
人工智能
RealisHuman:AI 生成的人像不真实?后处理框架帮你修复生成图像中畸形人体部位
RealisHuman 是一个创新的后处理框架,专注于修复生成图像中畸形的人体部位,如手和脸,通过两阶段方法提升图像的真实性。
81 11
RealisHuman:AI 生成的人像不真实?后处理框架帮你修复生成图像中畸形人体部位
|
1月前
|
机器学习/深度学习 存储 人工智能
MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式
MNN 是阿里巴巴开源的轻量级深度学习推理框架,支持多种设备和主流模型格式,具备高性能和易用性,适用于移动端、服务器和嵌入式设备。
288 18
MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式
|
1月前
|
人工智能 UED
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
VersaGen 是一款生成式 AI 代理,专注于文本到图像合成中的视觉控制能力,支持多种视觉控制类型,并通过优化策略提升图像生成质量和用户体验。
48 8
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
|
2月前
|
机器学习/深度学习 人工智能
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
Leffa 是 Meta 开源的图像生成框架,通过引入流场学习在注意力机制中精确控制人物的外观和姿势。该框架不增加额外参数和推理成本,适用于多种扩散模型,展现了良好的模型无关性和泛化能力。
101 11
Leffa:Meta AI 开源精确控制人物外观和姿势的图像生成框架,在生成穿着的同时保持人物特征
|
2月前
|
人工智能 API 语音技术
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
TEN Agent 是一个开源的实时多模态 AI 代理框架,集成了 OpenAI Realtime API 和 RTC 技术,支持语音、文本和图像的多模态交互,具备实时通信、模块化设计和多语言支持等功能,适用于智能客服、实时语音助手等多种场景。
219 15
TEN Agent:开源的实时多模态 AI 代理框架,支持语音、文本和图像的实时通信交互
|
2月前
|
存储 人工智能 安全
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?
从AI换脸到篡改图像,合合信息如何提升视觉内容安全?

热门文章

最新文章