淘系技术发布业界首个基于神经渲染的3D建模产品Object Drawer,推理速度均提升10000倍

简介: 淘系技术发布业界首个基于神经渲染的3D建模产品Object Drawer,推理速度均提升10000倍

111.gif

在China VR 2021大会上,阿里巴巴淘系技术发布了业界首个基于神经渲染的自研商品三维建模产品Object Drawer。目前,Object Drawer已经提供给部分天猫、淘宝商家使用,将在12月对外开放试用接口。届时欢迎大家体验。1.jpg2.jpg

在1920*1080分辨率下,Object Drawer的推理速度可以达到200FPS,在手机上可达到30FPS,实现了实时高清可交互的三维模型。与此同时,模型的训练时间仅仅需要4小时,模型大小仅仅需要20M,同时,对于任意视角查看,商品三维模型都达到实拍照片的展示效果,实现了三维建模一直追求的自动高精度还原。Object Drawer不需要依赖特定设备,只需要手机环绕目标商品进行视频拍摄,就可以完成自动重建,所生成的三维建模效果达到高精模型还原度。

Object Drawer技术指标如下图:3.jpg

背景介绍


随着VR/AR应用的发展,商品三维建模需求持续增加,商品建模需求可能达到现在的100倍以上。目前的商品三维建模依赖于手工建模,建模需要几小时到几天时间,费用为数百到数千元,即使是花费巨大的时间和金钱,商品还原度依然存在许多问题。传统的自动三维建模技术,需要对目标商品的形状、纹理、材质进行还原。为了提升建模成功率,建模产品对于建模环境、拍摄设备提出了许多要求。即使是这样的前提下,自动建模的三维模型还原度依然存在严重问题,弱纹理物体比如鞋、瓷壶等无法很好的重建,需要人工修复。同时,高精度材质还原,也需要人工进行大量的工作。传统建模失败案例与Object Drawer建模对比如下图:4.jpg

近几年,神经渲染技术正在飞速发展,其旨在利用神经网络来model场景和物体并可控制以及交互的渲染出photo-realistic的图像和视频。其中,NeRF及其衍生技术利用神经隐式表达来存储场景的物理几盒以及材质纹理信息,端到端的对于渲染效果进行优化,在novel view合成上取得了重大突破,也给三维重建带来了新的使点。但NeRF相关技术在实际应用中存在许多问题,部分主要问题包括:第一,推理速度、训练速度慢,1帧高清图推理时间超过50s,一个物体的建模时间长达2天以上。第二,细致纹理无法还原。第三,视角鲁棒性不好,部分视角渲染效果不理想。第三,隐式表达无法直接导入图形学工具,不支持显式使用,例如CAD场景搭配设计;同时由于只能还原拍摄场景的光照也使得NeRF模型无法支持环境光照变化的场景应用。以下为Object Drawer针对上述问题的一些解决情况。


推理速度和训练速度


神经渲染的推理速度是近期的研究热点,原始NeRF利用volume rendering得到像素颜色值,渲染单像素通常需要forward一个MLP网络上百次。部分突破性工作,例如FastNeRF和PlenOctree,通过优化网络结构,探索几何先验,预存部分信息,在保证渲染质量的同时显著将1080p渲染速度提升到了100FPS左右,同时模型存储要求压缩到了400M左右。Object Drawer深入分析了神经推理过程中的冗余计算,提出了新的模型表示,相比NeRF实现了10000倍的推理速度提升,模型大小也控制在20M以内。


相关文章
|
3月前
|
JavaScript 前端开发 开发者
Vue.js 响应式变革来袭!结合热点技术,探索从 Object.defineProperty 到 Proxy 的奇妙之旅,触动你的心
【8月更文挑战第30天】在 Vue.js 中,响应式系统自动追踪并更新数据变化,极大提升了开发体验。早期通过 `Object.defineProperty` 实现,但存在对新旧属性处理及数组操作的局限。Vue 3.0 引入了 `Proxy`,克服了上述限制,提供了更强大的功能和更好的性能。实践中,可根据项目需求选择合适的技术方案,并优化数据操作,利用懒加载等方式提升性能。
41 0
|
4月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何将冷存到OSS(Object Storage Service)的数据恢复
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
6月前
|
存储 监控 开发工具
对象存储OSS产品常见问题之python sdk中的append_object方法支持追加上传xls文件如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
219 9
|
编解码 自动驾驶 测试技术
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
339 0
【论文速递】ECCV2022 - PETR: Position Embedding Transformation for Multi-View 3D Object Detection
|
机器学习/深度学习 编解码 算法
大淘宝技术发布首个基于神经渲染的3D建模产品Object Drawer,现已向学术界与普通用户开放
大淘宝技术发布首个基于神经渲染的3D建模产品Object Drawer,现已向学术界与普通用户开放
2245 0
大淘宝技术发布首个基于神经渲染的3D建模产品Object Drawer,现已向学术界与普通用户开放
|
11天前
|
存储 Java 程序员
Java基础的灵魂——Object类方法详解(社招面试不踩坑)
本文介绍了Java中`Object`类的几个重要方法,包括`toString`、`equals`、`hashCode`、`finalize`、`clone`、`getClass`、`notify`和`wait`。这些方法是面试中的常考点,掌握它们有助于理解Java对象的行为和实现多线程编程。作者通过具体示例和应用场景,详细解析了每个方法的作用和重写技巧,帮助读者更好地应对面试和技术开发。
50 4
|
1月前
|
Java
Java Object 类详解
在 Java 中,`Object` 类是所有类的根类,每个 Java 类都直接或间接继承自 `Object`。作为所有类的超类,`Object` 定义了若干基本方法,如 `equals`、`hashCode`、`toString` 等,这些方法在所有对象中均可使用。通过重写这些方法,可以实现基于内容的比较、生成有意义的字符串表示以及确保哈希码的一致性。此外,`Object` 还提供了 `clone`、`getClass`、`notify`、`notifyAll` 和 `wait` 等方法,支持对象克隆、反射机制及线程同步。理解和重写这些方法有助于提升 Java 代码的可读性和可维护性。
|
3月前
|
Java
【Java基础面试二十】、介绍一下Object类中的方法
这篇文章介绍了Java中Object类的常用方法,包括`getClass()`、`equals()`、`hashCode()`、`toString()`、`wait()`、`notify()`、`notifyAll()`和`clone()`,并提到了不推荐使用的`finalize()`方法。
【Java基础面试二十】、介绍一下Object类中的方法
|
2月前
|
Python
类与面向对象编程(Object-Oriented Programming, OOP)
类与面向对象编程(Object-Oriented Programming, OOP)
|
3月前
|
前端开发 Java 编译器
【前端学java】java中的Object类和前端中的Object有什么区别(9)
【8月更文挑战第10天】java中的Object类和前端中的Object有什么区别
43 0
【前端学java】java中的Object类和前端中的Object有什么区别(9)

热门文章

最新文章