英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

简介: 英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

75 年前宝丽来拍摄第一张即时照片的时候,以逼真的 2D 图像捕捉 3D 世界是开创性的,如今人工智能研究人员正做着相反的事情,即几秒内将一组静止图片转换成 3D 数字场景。

上个月在英伟达 GTC 的一次会议中,英伟达演示了最新的人工智能技术并致敬了早期的宝丽来影像,视频中展示者穿着像 Andy Warhol,手持旧款宝丽来相机,通过数十张 2D 照片快速转换成 3D 渲染场景。

这一过程被称为反向渲染,使用人工智能来模拟光线在现实世界中的行为,使研究人员能够从不同角度拍摄的少量 2D 图像中重建三维场景。

英伟达将这种方法应用于一种流行的新技术,称为神经辐射场或 NeRF。该工具被称为 Instant NeRF,是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发,通过映射不同 2D 镜头的颜色和光线强度生成数据,并结合摄像机位置数据,然后将这些来自不同位置的图像连接起来,渲染出一个完整的 3D 场景。

尽管 Instant NeRF 也需要拍摄照片的摄像头角度数据,但该模型只需几秒钟就可以对几十张静态照片进行训练,然后在几十毫秒内渲染出最终的 3D 场景,是迄今为止最快的 NeRF 技术。

英伟达图形研究副总裁 David Luebke 表示:“如果说多边形网格等传统 3D 表示类似于矢量图像,那么 NeRFs 就像位图图像:它们密集地捕捉了物体或场景中光线的辐射方式。从这个意义上来说,Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕捉和共享的速度、易用性和覆盖范围。”

未来,英伟达希望 Instant NeRF 可以为虚拟世界创建场景、以 3D 方式捕捉视频会议参与者及其环境、为 3D 数字地图重建场景,并用于训练机器人和汽车自动驾驶技术等领域。

更多详细内容查看:

https://blogs.nvidia.com/blog...

https://nvlabs.github.io/inst...

nvidia

相关文章
|
5天前
|
存储 C++ 计算机视觉
【三维重建技术】C++医学影像处理系统源码
医学影像存储与传输系统是PACS和RIS系统完美结合在一起的综合应用系统。系统的硬件结构由高性能服务器、大容量存储设备、高速网络、各种信息采集设备、各种诊断及应用工作站组成;系统的基本结构由系统管理、图像采集传输与存贮和图像处理与辅助诊断应用三大部分构成。
53 10
|
5天前
|
存储 数据采集 编解码
【PACS】医学影像管理系统源码带三维重建后处理技术
【PACS】医学影像管理系统源码带三维重建后处理技术
61 0
|
5天前
|
数据采集 存储 数据可视化
医院影像PACS系统三维重建技术(获取数据、预处理、重建)
开放式体系结构,完全符合DICOM3.0标准,提供HL7标准接口,可实现与提供相应标准接口的HIS系统以及其他医学信息系统间的数据通信。
38 3
|
10月前
|
存储 数据库 数据安全/隐私保护
基于C++开发,支持三维重建,多平面重建技术的医学影像PACS系统源码
支持非DICOM标准的影像设备的图像采集和处理。 3)支持各种扫描仪、数码相机等影像输入设备。 4)支持各大主流厂商的CT、MR、DSA、ECT、US、数字胃肠、内镜等影像设备; 5)支持所有的DICOM相机,支持各大厂家的激光相机。 6)系统完全支持HL7接口和ICD—10编码,可与HIS系统无缝连接。 7)提供全院级、科室级工作站以及远程会诊工作站,三维重建,多平面重建。
基于C++开发,支持三维重建,多平面重建技术的医学影像PACS系统源码
|
5天前
|
存储 安全
支持CT、彩色超声、内窥镜检查的医院影像PACS系统源码(三维重建技术)
支持CT、彩色超声、内窥镜检查的医院影像PACS系统源码(三维重建技术)
26 0
|
7月前
|
机器学习/深度学习 数据采集 算法
PACS系统中的三维重建技术:原理、实现与应用
PACS系统中的三维重建技术:原理、实现与应用
49 0
|
8月前
|
存储 固态存储 大数据
医学影像处理系统源码-虚拟内窥镜 三维重建技术
PACS系统与医院HIS实现双向数据交换,自动从HIS系统获得病人基本信息、检查预约请求,自动向HIS系统传送预约请求接受、检查费用发生信息,接受来自HIS系统的检查结果查询和图像数据检索。 医院医学影像PACS系统源码,集成三维影像后处理功能,包括三维多平面重建、三维容积重建、三维表面重建、三维虚拟内窥镜、最大/小密度投影、心脏动脉钙化分析等功能。系统功能强大,代码完整。
|
11月前
|
存储 安全 C++
【C++】支持CT、彩色超声、内窥镜检查de医院影像PACS(三维重建技术)
【C++】支持CT、彩色超声、内窥镜检查de医院影像PACS(三维重建技术)
88 0
|
11月前
|
传感器 数据可视化 算法
全面了解三维重建在建筑领域应用:多种技术思路、落地案例全都有
全面了解三维重建在建筑领域应用:多种技术思路、落地案例全都有
274 0
|
存储 数据采集 数据库
专业的带三维重建技术医学影像PACS系统
三维后处理功能是临床数字技术中的重要组成部分,在与PACS系统整合后,能帮助医院构建完整的影像管理及三维影像后处理平台, 实现在任意PACS终端进行三维影像后处理工作。
121 0