本文主要介绍了3D场景合成技术在电商领域，尤其是家居家装行业的应用。它解释了如何使用3D场景合成创建逼真的室内设计，让消费者能够交互式地查看和体验产品，提高购物的趣味性和效率。文章提到了两种主要的3D室内场景生成算法：传统方法和深度学习方法，并着重介绍了如何通过空间感知和物理约束、功能约束以及美学认知来优化家具布局。此外，文章还讨论了在3D场景中处理碰撞检测、漂浮问题、通行区域和家具访问空间的重要性。最后，文章提出了一个分步骤的方法来合成3D室内场景，并展望了未来可能的发展方向，包括从零开始生成3D室内场景。
背景
3D场景合成是一种在计算机图形学中广泛应用的技术，它涉及将多个元素组合到一个完整的3D场景中。这项技术的用途非常多样，在电影电视制作、游戏开发、建筑可视化、虚拟现实 (VR)、教育培训、科学研究和模拟、广告和市场营销等领域都有丰富的应用。当前电商领域主流的用户体验方式是图文和视频，然而随着技术的不断进步和消费者需求的日益提升，传统的图片和视频展示显得不够全面和深入，结合3D场景和XR技术的沉浸式体验是一种未来的用户体验方式。由于天然的场景化特点，家居家装行业更加需要通过3D场景为消费者提供直观和详细的展品展示，使消费者能够从不同角度查看产品，甚至进行交互式的体验，从而更全面地了解产品特点。下图是一个客厅的3D场景，多个家具的3D模型按照合理的布局摆放其中，通过搭配的硬装和光影效果，使得消费者无需通过脑补，可直观感受到产品特点；目前消费者也可以通过点击视角或者家具上的锚点在房间内穿梭，为消费者创造在真实场景中游走的沉浸式购物体验，这样大大增加了购物的趣味性和便利性。另外，如果将用户的家一比一还原成3D场景，电商平台可以提供包括尺寸在内的产品展示，消费者在购买前就可以确定这个家具的尺寸是合适的，这也能帮助减少家具尺寸与实际场景不符导致的退换货的情况， 从而降低电商平台的运营成本。而且在3D场景中展示家具的搭配效果，通常会提高消费者的购买意愿，进而提升转化率。
客厅3D场景
电商领域的3D室内场景合成
一般的3D室内场景合成旨在为有限的室内空间生成符合物理约束、功能约束和美学认知的家具对象布局，家具对象的布局信息包括位置、朝向、类别、尺寸。根据场景生成方式的不同，可将室内场景生成算法主要分为传统算法和深度学习算法。传统方法采用模型驱动方式，依赖于一组场景示例学习先验，大多采用基于规则 、运筹学优化以及概率统计的方式对场景的布局规律进行建模。Tomer等人从室内场景中抽象出了一些规则，如碰撞约束、物体对齐约束，建模为一个组合优化问题，并根据局部梯度信息不断调整模型的位置、朝向等信息，将整体loss最小化，从而达到布局合成的效果。在大规模室内场景数据集，如3D-FRONT，出现以后，深度学习算法由于其强大的特征学习和提取能力成为室内场景布局算法的主要手段，神经网络使用大量的场景布局数据作为监督数据，可以自动学习布局规律并且快速生成布局，另外从大规模室内场景数据集中学习到的场景先验能够很好地补充人有限的室内场景设计经验。尤其是扩散模型和大语言模型的生成能力涌现之后，3D室内场景合成的效果得到进一步提升。MVDiffusion从文本提示逐步生成一致的多视图图像，并从这些子帧中重建房间的3D网格。LayoutGPT研究了如何通过提示大型语言模型从2D图像到3D室内场景等多个领域生成合理的布局。
MVDiffusion
3D场景合成的输出方式一般可以分为全景图+3D场景布局、隐式表达（Nerf、tri-plane）、显示表达（3D网格），但是全景图和隐式表达的方式都可以转换成3D网格。3D网格的表示方式便于我们展现并进行自由地二次编辑，可编辑的3D场景在电商业务里面是很重要的，我们会通过替换、微调3D场景中的软装进行泛化生产，降低生产3D场景的成本。
按照3D场景合成的显示表达来分类，可以分为单一mesh的3D场景和基于解耦对象的3D场景。单一mesh的3D场景会把场景建模成一个mesh，Ctrl-Room使用两阶段方法从文本生成3D房间mesh, 首先从文本生成房间布局，然后基于布局生成房间的纹理(一张全景图), 最后使用全景重建方法将全景图提升为3D房间mesh，两阶段生成方法使得生成模型可以支持3D房间编辑操作, 用户可以拖拽、缩放、更改某个家具。输出结果是单一mesh的3D场景合成方法大多不可编辑，虽然有些工作，比如Ctrl-Room，可以使用论文中的pipeline支持一些编辑操作，但是无法接入到传统的3D工作流中，在电商环境中难以落地。基于解耦对象的3D场景将不同的家具对象与场景分开，和由设计师手动建模完成的3D场景类似。Yunfan等人提出了多目标风格一致性的3D室内场景合成方法--Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects（后面称为SCSS），提供了多模态可控性，例如根据文本或图像来控制生成和风格化对象，另一个关键点是3D室内场景合成结果中，家具对象和场景是分离的mesh，允许更多的编辑操作。
Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects
而电商领域的3D室内场景合成不仅仅是生成符合物理约束、功能约束和美学认知的家具对象布局那么简单，还有一个关键要求就是合成的3D室内场景中的家具对象应该是或者大部分是电商平台中的商品，并且保证3D场景中这些3D对象和商品的外观一致。一个难点是在有限的时间内从几百万甚至几千万的商品模型库中选择互相搭配的家具模型，并合成一个符合物理要求、功能要求和美学要求的3D场景。通过搭建一个高效的检索系统，或许可以检索出一套满足功能要求和美学要求的家具模型，但是在没有场景尺寸信息和家具位置信息的前提下，很难对家具模型的尺寸进行约束，容易导致家具之间或者家具和墙壁之间穿模，因此已经存在一个3D室内空场景对于选择一套互相搭配的家具模型十分重要。另一个难点是以现有的技术合成的3D场景存在模糊、破洞的问题，美观度达不到在设计软件合成的3D场景质量，很难应用于需要带给消费者舒适购物体验的电商平台。
因此，在当前阶段，我们可以只需要设计师完成户型设计、硬装设计的步骤，软装的布局和搭配使用合成的方式生成。与SCSS相似，我们使用LLM学习软装模型的布局生成，通过定位家具模型的位置，得到家具模型的参数化规则（用于表达空间感知规则），并在模型检索系统快速检索这些规则。将检索得到的模型在场景中定位和放置，组成最终的场景。由于我们不能更改商品对应的模型，我们不能像SCSS一样根据文本或图像来风格化对象，场景的风格一致基于模型检索时的风格约束完成。通过自动化3D场景合成中的软装合成，可以减轻设计师的设计工作，降低3D场景生产的成本，同时保证了产生的3D场景的质量，符合电商平台中3D场景的要求：真实商品、3D场景质量可以给消费者舒适的购物体验。
从布局开始的3D室内场景软装合成-空间感知能力
基于纯硬装的3D场景搭配软装，这是一个软装设计师的工作。下面我们看一下软装设计师的大概设计步骤：
- 了解客户需求：通过与客户沟通，了解客户的喜好、需求和预算，以便进行有针对性的设计。
- 现场勘查：实地考察硬装设计完成的空间，测量尺寸，拍照，了解空间的结构和光线状况。
- 设计方案制定：根据客户需求和现场条件，设计师会制定软装设计方案，包括家具、窗帘、地毯、饰品等的选择和布置。
- 设计方案呈现：设计师会通过效果图、样板间、材料样品等方式，向客户展示设计方案，征求客户的意见和建议。
- 采购和安装：根据设计方案，设计师会协助客户采购软装产品，并安排专业团队进行安装和布置。
- 现场调整：在软装安装完成后，设计师会根据实际效果进行现场调整，确保软装效果达到预期。
- 完工验收：设计师会和客户一起对软装效果进行验收，确认满意后交付使用。
了解客户需求和现场勘查属于信息收集阶段，真实的工作从设计方案的制定开始。其中家具布置可以理解为家具模型的布局生成，家具选择此时只是设计方案中文本格式的描述，而家具布置一定程度上影响了家具的选择，尤其是在尺寸上，因此软装设计始于一套好的布局。关于布局相关的研究可以参考之前遇浩的文章《基于组合优化的3D家居布局生成看千禧七大数学难题之NP问题》，本文关注于后续步骤，即如何根据一套布局。如下图所示，定位家具位置，基于空间感知的逻辑摆放模型，并合成风格一致的3D场景。
布局顶视图
▐ 空间感知是什么
现在我们考虑一下现实世界的3D室内场景是如何产生的。现实世界的3D场景是在区域有界空间中顺序放置和调整对象来实现的，这种对象放置和调整行为遵循基于房间功能和布局的室内设计规则，这为开发室内3D场景软装合成算法提供了有用的先验。
空间感知可以理解为对象的顺序放置和调整行为，对应于上文中软装设计师的设计步骤，也就是采购和安装中的安装和布置。不过在现实世界中，对空间的感知是由物理规律和人来完成（例如现实世界不会穿模、人在摆放茶几和沙发时一般会留出一定的距离方便走动），而在3D场景软装算法中就需要设置这些规则以产生与现实一致的3D场景。
与现实世界中不同的是，现实世界的软装搭配只需在3D空间中找到一个可行解，因此设计师一般会通过测量为家具选择一个合适的尺寸，并根据尺寸采购和安装家具。电商领域的3D场景合成希望找到一个纯硬装的3D场景中的所有可行解，合成尽可能多的3D场景。与坐标轴不平行的布局导致了不能简单的通过限制家具尺寸范围得到所有可行解，如下图所示，空间感知家具处可以放置一个红色框大小的家具或者一个蓝色框大小的家具，但是不能简单的通过限制家具长宽的范围描述出来什么尺寸的家具放在这里是合适的。
▐ 问题定义
由于操作和计算3D模型的mesh会带来巨大的计算量，在3D场景合成中，我们采用模型的3D包围盒来表示模型，每个模型在3D场景中的摆放参数有位置（3D包围盒的底面中心坐标）、朝向、尺寸（长宽高）、类目。从一个布局设计方案中，我们可以获取每个模型的位置、朝向和类目，但是尺寸是虚假的，背后并没有对应一个真实的商品模型。根据已知信息，p、direction、tangent是已知量，通过设置家具尺寸的未知量length、width、height，我们可以参数化表达3D场景中的模型，示意图如下。
固定点：模型3D包围盒的地面中心坐标 p未知量：length width height模型位置：p模型正方向：direction与模型正方向垂直：tangent2维平面上四个点表示为：p+ (direction*width/2, tangent*length/2)p+ (-direction*width/2, tangent*length/2)p+ (direction*width/2, -tangent*length/2)p+ (-direction*width/2, -tangent*length/2)
参数化示意图
家具的顺序放置和调整受到房间轮廓、和其他家具的约束，但是通过将家具模型表示为3D包围盒，我们可以将家具受到的所有约束，如碰撞、家具之间的距离、摆放位置等，建模为和场景中其他家具或房间轮廓的线性约束，并使用参数化的方式去表达。这使得我们不需要把家具模型放到场景中去判断是否符合要求，而是可以通过检索系统去检索符合线性约束的家具模型，利用检索系统的批量处理能力，可以快速找到符合3D场景约束的家具模型。下面基于线性约束建立一个3D场景中的空间感知方案。
▐ 空间感知方法
技术轮廓
- 物理约束
一个正常的3D场景首先要符合物理世界的规律，即不能漂浮或碰撞，这是空间感知中的强约束。
