英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

简介: 英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

75 年前宝丽来拍摄第一张即时照片的时候,以逼真的 2D 图像捕捉 3D 世界是开创性的,如今人工智能研究人员正做着相反的事情,即几秒内将一组静止图片转换成 3D 数字场景。

上个月在英伟达 GTC 的一次会议中,英伟达演示了最新的人工智能技术并致敬了早期的宝丽来影像,视频中展示者穿着像 Andy Warhol,手持旧款宝丽来相机,通过数十张 2D 照片快速转换成 3D 渲染场景。

这一过程被称为反向渲染,使用人工智能来模拟光线在现实世界中的行为,使研究人员能够从不同角度拍摄的少量 2D 图像中重建三维场景。

英伟达将这种方法应用于一种流行的新技术,称为神经辐射场或 NeRF。该工具被称为 Instant NeRF,是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发,通过映射不同 2D 镜头的颜色和光线强度生成数据,并结合摄像机位置数据,然后将这些来自不同位置的图像连接起来,渲染出一个完整的 3D 场景。

尽管 Instant NeRF 也需要拍摄照片的摄像头角度数据,但该模型只需几秒钟就可以对几十张静态照片进行训练,然后在几十毫秒内渲染出最终的 3D 场景,是迄今为止最快的 NeRF 技术。

英伟达图形研究副总裁 David Luebke 表示:“如果说多边形网格等传统 3D 表示类似于矢量图像,那么 NeRFs 就像位图图像:它们密集地捕捉了物体或场景中光线的辐射方式。从这个意义上来说,Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕捉和共享的速度、易用性和覆盖范围。”

未来,英伟达希望 Instant NeRF 可以为虚拟世界创建场景、以 3D 方式捕捉视频会议参与者及其环境、为 3D 数字地图重建场景,并用于训练机器人和汽车自动驾驶技术等领域。

更多详细内容查看:

https://blogs.nvidia.com/blog...

https://nvlabs.github.io/inst...

nvidia

相关文章
|
消息中间件 安全 Kafka
一文搞懂Kafka中的listeners配置策略
1. listeners中的plaintext controller external是什么意思? 2. Kraft模式下controller和broker有何区别? 3. 集群节点之间同步什么数据,通过哪个端口,是否可以自定义端口? 4. 客户端通过哪个端口连接到kafka,通过9092连接的是什么,broker还是controller? 5. 为controller配置了单独的端口有什么用? 6. control.plane.listener.name与controller.listener.names有何区别?
3087 2
|
8月前
|
数据采集 网络协议 前端开发
Python多线程爬虫模板:从原理到实战的完整指南
多线程爬虫通过并发请求大幅提升数据采集效率,适用于大规模网页抓取。本文详解其原理与实现,涵盖任务队列、线程池、会话保持、异常处理、反爬对抗等核心技术,并提供可扩展的Python模板代码,助力高效稳定的数据采集实践。
412 0
|
人工智能 并行计算 搜索推荐
SPAR3D:一张图片就能生成3D模型,每个物体的重建时间仅需0.7秒!
SPAR3D 是由 Stability AI 和伊利诺伊大学香槟分校推出的先进单图生成3D模型方法,支持快速推理与用户交互式编辑,适用于多种3D建模场景。
1998 30
SPAR3D:一张图片就能生成3D模型,每个物体的重建时间仅需0.7秒!
|
存储 数据可视化 数据挖掘
Python数据分析项目:抖音短视频达人粉丝增长趋势
Python数据分析项目:抖音短视频达人粉丝增长趋势
|
设计模式 算法 关系型数据库
23种设计模式总结
23种设计模式总结
312 0
|
数据采集 算法 大数据
【专栏】大规模数据处理在数据化时代的重要性、应用领域以及面临的挑战
【4月更文挑战第27天】随着信息技术发展,数据成为驱动社会和经济的核心。大规模数据处理技术助力企业优化决策、推动科研创新、促进社会治理现代化,广泛应用于金融、电商、医疗等领域。然而,数据质量、安全、技术更新、法律伦理等问题也随之而来,需通过建立数据管理体系、加强技术研发、人才培养和法规建设等策略应对。大规模数据处理技术在变革生活的同时,其健康发展至关重要。
513 2
|
机器学习/深度学习 存储 PyTorch
深度学习训练时混合精度的作用
在深度学习训练过程中,混合精度(Mixed Precision)是指同时使用不同的数值精度(如16位浮点数和32位浮点数)来进行计算。
489 2
|
运维 监控 搜索推荐
客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台
阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能够适应日益增长的数据规模。
客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台
|
弹性计算 人工智能 数据挖掘
阿里云高校计划“云工开物”解读,适合学生及高校教师参考
阿里云推出“云工开物”高校计划,向学生和教师提供优惠,旨在支持高等教育和培养科技人才。学生通过学信网认证可获300元优惠券和3折云服务器优惠;教师享5折全线产品折扣。此外,还有“极速上云”活动和各类挑战赛,促进实践和创新。
阿里云高校计划“云工开物”解读,适合学生及高校教师参考
|
机器学习/深度学习 自然语言处理 算法
YOLOv5改进 | 注意力机制 | 添加三重注意力机制 TripletAttention【完整代码】
本文介绍了三重注意力机制在YOLOv5目标检测中的应用,这是一种轻量级方法,通过三分支结构捕获跨维度交互来计算注意力权重,几乎不增加计算开销。文章详细阐述了三重注意力的原理,包括全局、组间和组内三个层次的注意力计算,并提供了将TripletAttention模块添加到YOLOv5网络的教程。作者提供了代码实现和yaml配置文件的修改指导,以及在训练脚本中设置配置文件路径的步骤。完整代码附在文章末尾,适合初学者实践。此外,文章还鼓励读者探索在不同位置添加三重注意力以进一步优化模型性能。