英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

简介: 英伟达开发最快 NeRf 技术:数秒内将 2D 照片合成为 3D 场景

75 年前宝丽来拍摄第一张即时照片的时候,以逼真的 2D 图像捕捉 3D 世界是开创性的,如今人工智能研究人员正做着相反的事情,即几秒内将一组静止图片转换成 3D 数字场景。

上个月在英伟达 GTC 的一次会议中,英伟达演示了最新的人工智能技术并致敬了早期的宝丽来影像,视频中展示者穿着像 Andy Warhol,手持旧款宝丽来相机,通过数十张 2D 照片快速转换成 3D 渲染场景。

这一过程被称为反向渲染,使用人工智能来模拟光线在现实世界中的行为,使研究人员能够从不同角度拍摄的少量 2D 图像中重建三维场景。

英伟达将这种方法应用于一种流行的新技术,称为神经辐射场或 NeRF。该工具被称为 Instant NeRF,是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发,通过映射不同 2D 镜头的颜色和光线强度生成数据,并结合摄像机位置数据,然后将这些来自不同位置的图像连接起来,渲染出一个完整的 3D 场景。

尽管 Instant NeRF 也需要拍摄照片的摄像头角度数据,但该模型只需几秒钟就可以对几十张静态照片进行训练,然后在几十毫秒内渲染出最终的 3D 场景,是迄今为止最快的 NeRF 技术。

英伟达图形研究副总裁 David Luebke 表示:“如果说多边形网格等传统 3D 表示类似于矢量图像,那么 NeRFs 就像位图图像:它们密集地捕捉了物体或场景中光线的辐射方式。从这个意义上来说,Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕捉和共享的速度、易用性和覆盖范围。”

未来,英伟达希望 Instant NeRF 可以为虚拟世界创建场景、以 3D 方式捕捉视频会议参与者及其环境、为 3D 数字地图重建场景,并用于训练机器人和汽车自动驾驶技术等领域。

更多详细内容查看:

https://blogs.nvidia.com/blog...

https://nvlabs.github.io/inst...

nvidia

相关文章
|
29天前
|
存储 编解码 安全
带三维重建和还原的PACS源码 医学影像PACS系统源码
带三维重建和还原的PACS源码 医学影像PACS系统源码 PACS及影像存取与传输系统”( Picture Archiving and Communication System),为以实现医学影像数字化存储、诊断为核心任务,从医学影像设备(如CT、CR、DR、MR、DSA、RF等)获取影像,集中存储、综合管理医学影像及病人相关信息,建立数字化工作流程。系统可实现检查预约、病人信息登记、计算机阅片、电子报告书写、胶片打印、数据备份等一系列满足影像科室日常工作的功能,并且由于影像数字化存储,用户可利用影像处理与测量技术辅助诊断、方便快捷地查找资料或利用网络将资料传输至临床科室,还可与医院HIS、L
|
4月前
|
存储 数据采集 固态存储
带三维重建和还原功能的医学影像管理系统(pacs)源码
带三维重建和还原功能的医学影像管理系统(pacs)源码
52 0
|
4月前
|
存储 数据采集 编解码
【PACS】医学影像管理系统源码带三维重建后处理技术
【PACS】医学影像管理系统源码带三维重建后处理技术
51 0
|
4月前
|
C++
【C++医学影像PACS】CT检查中的三维重建是什么检查?
【C++医学影像PACS】CT检查中的三维重建是什么检查?
61 0
|
2月前
|
数据采集 存储 数据可视化
医院影像PACS系统三维重建技术(获取数据、预处理、重建)
开放式体系结构,完全符合DICOM3.0标准,提供HL7标准接口,可实现与提供相应标准接口的HIS系统以及其他医学信息系统间的数据通信。
25 3
|
3月前
|
存储 编解码 监控
【C++】医学影像PACS三维重建后处理系统源码
系统完全符合国际标准的DICOM3.0标准
28 2
|
4月前
|
存储
医院PACS系统全套源码 强大的三维重建功能
对非DICOM影像,如超声、病理、心电图等进行了集成,做到了可以同时处理DICOM标准图像和非DICOM图像。
22 1
|
9月前
|
存储 数据库 数据安全/隐私保护
基于C++开发,支持三维重建,多平面重建技术的医学影像PACS系统源码
支持非DICOM标准的影像设备的图像采集和处理。 3)支持各种扫描仪、数码相机等影像输入设备。 4)支持各大主流厂商的CT、MR、DSA、ECT、US、数字胃肠、内镜等影像设备; 5)支持所有的DICOM相机,支持各大厂家的激光相机。 6)系统完全支持HL7接口和ICD—10编码,可与HIS系统无缝连接。 7)提供全院级、科室级工作站以及远程会诊工作站,三维重建,多平面重建。
基于C++开发,支持三维重建,多平面重建技术的医学影像PACS系统源码
|
4月前
|
存储 数据采集 数据可视化
【C++】PACS医学图像存储和传输系统源码带三维重建
【C++】PACS医学图像存储和传输系统源码带三维重建
36 0
|
3月前
|
固态存储 数据安全/隐私保护 计算机视觉
C++医院影像科PACS源码:三维重建、检查预约、胶片打印、图像处理、测量分析等
C++医院影像科PACS源码:三维重建、检查预约、胶片打印、图像处理、测量分析等
49 0