今年CVPR,我们填补了3D场景布局数据集空白,并向全世界开源!-阿里云开发者社区

开发者社区> 新零售淘系技术> 正文
登录阅读全文

今年CVPR,我们填补了3D场景布局数据集空白,并向全世界开源!

简介: 6月14日,"Learning 3D Generative Model" Workshop CVPR 2020 召开。 来自名校各界的3D视觉和图形学学者举办了一场以“3D建模”为主题的线上 workshop,阿里巴巴淘系技术部资深算法专家乐田在会上分享了3D场景数据集3D-FRONT(3D Furnished Rooms with layOuts and semaNTics) 的报告,并向全世界开源此份数据集。

计算机视觉的鼻祖之一,Workshop 重量级嘉宾 Jitendra Malik 也远程在线。


image.png


以下,是我们关于3D场景数据集3D-FRONT(3D Furnished Rooms with layOuts and semaNTics)的核心内容。


▐  3D场景数据迫在眉睫,数据集严重缺乏


想象一下未来,我们用机器人设计一个卧室,即使是放置一个衣柜,机器人也需要考虑房型、角度等许多有关美感的问题。对于这样一个创造性的问题,我们需要大量数据集来指导训练机器人的大脑。


CVPRW-PPT-V7 (1).png


3D与2D场景理解是打造未来AI世界的基础核心的研究课题,且都依赖于大量数据进行来训练相关模型。


然而,当前学界场景数据集严重缺乏,特别是具有高质量布局与室内设计的数据集。这不足以支持和推进数据驱动的高智能化3D场景的相关研究。这是当下学界和业界面临的现实问题。


幻灯片5.png


▐  阿里巴巴作为电商领军,深耕场景化数字营销,创造大量布局与设计数据


阿里巴巴作为世界级的电商互联网巨头,其官方家装家居设计平台——“躺平设计家”积累了海量高质量家居设计方案。


以这些真实家居场景为基础,阿里巴巴淘系技术部结合3D人工智能技术初步打造了场景化数字营销,推出了智能设计搭配服务,并创造了大量精美场景布局与设计数据。


这套 3D-FRONT(3D Furnished Rooms with layOuts and semaNTics)包含10,000真实户型,平均每个户型包含7个场景room。其中,31,734个场景含有人工验证过的精美室内设计信息。


数据集里面涉及的家具来自于阿里巴巴已开源的模型数据集3D-FUTURE(3D FUrniture shapes with TextURE),且都饱含丰富几何与纹理细节。


幻灯片7.png幻灯片10.png


相比于其他3D场景数据集,3D-FRONT在相关统计数字上远超同类,且在高质量硬装mesh,户型布局,以及精美室内设计上是独一无二的。


幻灯片19.png


此次报告内容受到热烈响应,国外几何圈内诸多知名大学(斯坦福,牛津,马普所等)均表示对数据集的兴趣,并期待使用它做相关话题的学术研究。


阿里巴巴淘系技术部 3D-FRONT 填补学界 3D 场景布局数据空白,这对于推进学术研究与工业落地紧密结合、对于3D视觉和图形学的未来发展有着重大意义。


▐  开源数据集分享

 

  • 3D-FRONT数据集主页:

https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset


  • 3D-FUTURE数据集主页:

https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future


  • Learning 3D Generative Models CVPR 2020 Workshop: 

https://learn3dgen.github.io/


 

image.png

阿里巴巴淘系技术部与英国伦敦大学伯贝克学院Steve Maybank教授(Fellow of the IEEE and a Member of the Academia Europaea,the Koenderink Prize in 2008)、悉尼大学陶大程教授(Fellow of the IEEE, ACM and Australian Academy of Science)等国际知名学者合作,与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集(3D-FUTURE),共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。3D几何与视觉研究是广受关注的基础研究领域,是建设未来3D智能世界必经之路。


淘系技术部在人工智能国际顶级会议IJCAI-PRICAI举办workshop及竞赛,旨在总结目前最先进的3D几何与视觉技术,启发高质量3D模型理解与重建,并且建立学术研究与工业应用的桥梁。


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

淘系技术部隶旗下包含淘宝技术、天猫技术、农村淘宝技术、闲鱼、iHome等团队和业务,是一支是具有商业和技术双重基因的螺旋体。 我们致力于成为全球最懂商业的技术创新团队,打造消费者和商家一体化的新零售智能商业平台,创新商业赛道。随着新零售业务的持续探索与快速发展,我们不断吸引用户增长、机器学习、视觉算法、音视频通信、数字媒体、端侧智能等领域全球顶尖专业人才加入,让科技引领面向未来的商业创新和进步。欢迎投递简历至ruoqi.zlj@taobao.com

官方博客
最新文章
相关文章
淘系开源,欢迎star哟