中科大NDR项目原作解读:基于单目RGB-D视频的动态重建

简介: 中科大NDR项目原作解读:基于单目RGB-D视频的动态重建

基于一段单目 RGB-D 视频恢复目标动态物的几何和运动信息是计算机视觉的经典问题之一。针对该问题的解决方案在虚拟现实、增强现实等领域有着广泛的应用前景。其中以 DynamicFusion 为首的一系列动态融合算法将变形图(Deformation Graph)和截断符号距离场(TSDF)分别作为运动与几何的表征。但由于没有在一个可微的框架下将采集的颜色信息和深度信息一同表示,这类方法未能在重建阶段将颜色信息充分地利用。因此其重建的结果在保真度上依然有不小的提升空间。

为此在 NeurIPS 2022 上,中国科学技术大学等机构结合神经隐式表示提出了一个单目 RGB-D 动态重建方案 NDR。NDR 通过无模板先验的隐式形变场恢复运动信息并将观测帧的采样点变换到基准空间,再通过基准空间中的符号距离场和神经辐射场分别恢复几何与颜色信息。为了保证运动信息的周期一致性,在形变场中设计了一个符合非刚性运动的双射模块。同时,为了解决动态场景中常见的拓扑变化问题,引入了拓扑感知网络。此外,设计的 RGB-D 损失函数能确保 NDR 最终优化出高质量的几何与运动。

机器之心最新一期线上分享邀请到了中国科学技术大学 GCL 实验室三维视觉课题组博士生蔡泓锐(导师为张举勇教授),介绍神经动态重建方案 NDR。


分享主题:NDR:基于单目RGB-D视频的动态重建

分享嘉宾:蔡泓锐,中国科学技术大学 GCL 实验室三维视觉课题组在读博士生。导师为张举勇教授。本科毕业于华南理工大学数学学院。研究方向是三维数字内容的重建、理解与生成。

分享摘要:将分享在 NeurIPS 2022 上提出的一个神经动态重建方案 NDR。它是一种无模板的方法,可以基于单目 RGB-D 视频得到动态场景的高保真几何和运动信息。它能同时保证运动的周期一致性并处理拓扑变化场景。代码现已开源。

相关链接:

Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera. NeurIPS 2022.

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/ndr

2)论文链接:

https://arxiv.org/abs/2206.15258

3)项目主页:

https://ustc3dv.github.io/ndr/

4)开源代码仓库:

https://github.com/USTC3DV/NDR-code

相关文章
|
图形学
Unity射线检测的避坑指南
Unity射线检测的避坑指南
|
7月前
|
人工智能 Linux API
OpenCV这么简单为啥不学——1.1、图像处理(灰度图、模糊图片、GaussianBlur函数、提取边缘、边缘膨胀、边缘细化)
OpenCV这么简单为啥不学——1.1、图像处理(灰度图、模糊图片、GaussianBlur函数、提取边缘、边缘膨胀、边缘细化)
106 0
|
7月前
|
机器学习/深度学习 人工智能
可控图像生成最新综述!北邮开源20页249篇文献,包揽Text-to-Image Diffusion领域各种条件
【2月更文挑战第29天】北京邮电大学研究人员发表了一篇关于文本到图像扩散模型的综述论文,探讨了该技术在可控图像生成方面的最新进展。论文介绍了DDPMs基础理论,并详述了如何通过引入条件来提升生成图像的精确控制。研究者提出条件生成的三种类别,分析了核心理论机制,并创建了一个包含249篇相关文献的GitHub仓库,促进学术交流。尽管取得显著成就,但模型仍面临语义一致性、处理复杂文本描述和效率提升等挑战。论文链接:https://arxiv.org/abs/2403.04279
163 1
可控图像生成最新综述!北邮开源20页249篇文献,包揽Text-to-Image Diffusion领域各种条件
|
4月前
|
图形学
小功能⭐️Unity 如何判断物体是否在摄像机视野内或外
小功能⭐️Unity 如何判断物体是否在摄像机视野内或外
|
7月前
|
机器学习/深度学习 编解码 并行计算
【传知代码】用二维图像渲染3D场景视频-论文复现
mip-NeRF是针对NeRF(Neural Radiance Fields)的改进模型,旨在解决NeRF在不同分辨率下渲染图像时的模糊和伪影问题。mip-NeRF通过引入多尺度表示和圆锥体采样,减少了图像伪影,提升了细节表现力,同时比NeRF快7%,模型大小减半。相比NeRF,mip-NeRF在标准数据集上的错误率降低17%,多尺度数据集上降低60%。此外,它的渲染速度比超采样NeRF快22倍。该模型适用于3D场景渲染和相关应用,具有广阔的发展前景。
|
7月前
复现sci顶刊中的画中画(局部细节放大)
复现sci顶刊中的画中画(局部细节放大)
474 0
|
机器学习/深度学习 编解码 算法
CV之NoGAN:利用图像增强技术(图片上色)实现对旧图像和电影片段进行着色和修复(爱因斯坦、鲁迅旧照/清末官员生活场景等案例)
CV之NoGAN:利用图像增强技术(图片上色)实现对旧图像和电影片段进行着色和修复(爱因斯坦、鲁迅旧照/清末官员生活场景等案例)
CV之NoGAN:利用图像增强技术(图片上色)实现对旧图像和电影片段进行着色和修复(爱因斯坦、鲁迅旧照/清末官员生活场景等案例)
|
算法 IDE 开发工具
2021电赛F题之openmv数字识别--更新(附带视频与代码)
2021电赛F题之openmv数字识别--更新(附带视频与代码)
258 0
2021电赛F题之openmv数字识别--更新(附带视频与代码)
|
机器学习/深度学习 传感器 算法
【图像重建】在线全息图的迭代双图像自由重建附matlab代码
【图像重建】在线全息图的迭代双图像自由重建附matlab代码
|
计算机视觉
三天学会opencv(十一)——形态学操作应用-提取水平与垂直线
三天学会opencv(十一)——形态学操作应用-提取水平与垂直线
123 0
三天学会opencv(十一)——形态学操作应用-提取水平与垂直线