带你读《2022技术人的百宝黑皮书》——商品3D建模的视觉定位和前景分割方法(4) https://developer.aliyun.com/article/1247974?groupCode=taobaotech
主体分割
问题定义
要想重建一个物体，首先要在图像上将物体分割出来，将前景保留、背景去除，重建出来的模型才能干净、完整。目前业界的重建方法（如NeRF、IDRNet）都对分割结果非常敏感，基本需要绝对准确的结果，一旦有1张出现了分割不准的情况，都会影响最终的重建结果。现有的图像/视频分割算法很难满足这个要求。
解决方法
对此，我们提出了图像分割和神经渲染端到端联合优化网络。将分割网络输出的结果作为初值，通过神经渲染的方式融合各个视角下的结果。
结果对比
如下图所示，最左边图片是输入RGB图，中间图片是用SOTA分割算法得到的抠图结果，右边图像是我们的算法结果。我们的分割结果非常精细(可达1个像素的细腻度，如右下角图所示)，且不惧复杂背景。
总结
如果您想了解更多关于商品AI建模的信息，欢迎访问Object Drawer的官网：https://tech.taobao.org/object drawer。
团队介绍
大淘宝技术部3D算法团队，发布了业内首个基于神经渲染的商品三维重建产品描物坊Object Drawer，探索了NeRF神经渲染从建模到应用的全链路，在建模鲁棒性、纹理细节、模型大小、推理速度、重光照等方面保持业内领先。同时在应用方面，基于算法的智能出图、视频结果可以媲美设计师的作品，在视频分割、AI搭配、AI布局、户型表示、光影和谐等方面达到业内一流水平。团队在学术方面积极贡献，在ICCV、NeurIPS、KDD、CVPR等顶级学术会议上发表多篇论文，为研究者开放3D-FRONT数据集，获ChinaGraph首届数据奖。为了打造团队的全栈研发能力，我们不断吸引视觉/图形算法、3D/XR引擎等领域的优秀专业人才加入，一起奔向3D新时代。
如果您有兴趣可将简历发至rongfei.jrf@alibaba-inc.com，期待您的加入！
