今年CVPR，我们填补了3D场景布局数据集空白，并向全世界开源！

计算机视觉的鼻祖之一，Workshop 重量级嘉宾 Jitendra Malik 也远程在线。

以下，是我们关于3D场景数据集3D-FRONT（3D Furnished Rooms with layOuts and semaNTics）的核心内容。

▐  3D场景数据迫在眉睫，数据集严重缺乏

想象一下未来，我们用机器人设计一个卧室，即使是放置一个衣柜，机器人也需要考虑房型、角度等许多有关美感的问题。对于这样一个创造性的问题，我们需要大量数据集来指导训练机器人的大脑。

3D与2D场景理解是打造未来AI世界的基础核心的研究课题，且都依赖于大量数据进行来训练相关模型。

然而，当前学界场景数据集严重缺乏，特别是具有高质量布局与室内设计的数据集。这不足以支持和推进数据驱动的高智能化3D场景的相关研究。这是当下学界和业界面临的现实问题。

▐  阿里巴巴作为电商领军，深耕场景化数字营销，创造大量布局与设计数据

阿里巴巴作为世界级的电商互联网巨头，其官方家装家居设计平台——“躺平设计家”积累了海量高质量家居设计方案。

以这些真实家居场景为基础，阿里巴巴淘系技术部结合3D人工智能技术初步打造了场景化数字营销，推出了智能设计搭配服务，并创造了大量精美场景布局与设计数据。

这套 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics）包含10,000真实户型，平均每个户型包含7个场景room。其中，31,734个场景含有人工验证过的精美室内设计信息。

数据集里面涉及的家具来自于阿里巴巴已开源的模型数据集3D-FUTURE（3D FUrniture shapes with TextURE），且都饱含丰富几何与纹理细节。

Statistics

Stanford

ScanNet

Structured3D

SceneNet

Dataset

3D-FRONT

Scenes

V

V

V

3DMesh

V

V

3DSemanticMesh

V

Textures

34

#ObjctClass

Furniture)

19

#SceneCategories

28

10,001

3,500

#Houses

none

none

none

#Rooms/Scenes

130

1513

21,835

57

75,788

相比于其他3D场景数据集，3D-FRONT在相关统计数字上远超同类，且在高质量硬装mesh，户型布局，以及精美室内设计上是独一无二的。

此次报告内容受到热烈响应，国外几何圈内诸多知名大学（斯坦福，牛津，马普所等）均表示对数据集的兴趣，并期待使用它做相关话题的学术研究。

阿里巴巴淘系技术部 3D-FRONT 填补学界 3D 场景布局数据空白，这对于推进学术研究与工业落地紧密结合、对于3D视觉和图形学的未来发展有着重大意义。

▐  开源数据集分享

• 3D-FRONT数据集主页：
  

https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

• 3D-FUTURE数据集主页：
  

https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

• Learning 3D Generative Models CVPR 2020 Workshop:
  

https://learn3dgen.github.io/

阿里巴巴淘系技术部与英国伦敦大学伯贝克学院Steve Maybank教授（Fellow of the IEEE and a Member of the Academia Europaea,the Koenderink Prize in 2008）、悉尼大学陶大程教授（Fellow of the IEEE, ACM and Australian Academy of Science）等国际知名学者合作，与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集（3D-FUTURE），共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。3D几何与视觉研究是广受关注的基础研究领域，是建设未来3D智能世界必经之路。

淘系技术部在人工智能国际顶级会议IJCAI-PRICAI举办workshop及竞赛，旨在总结目前最先进的3D几何与视觉技术，启发高质量3D模型理解与重建，并且建立学术研究与工业应用的桥梁。