三维扫描仪是一种通过结构光（structured lighting）来获取物体表面精确几何信息的科学仪器，经过二十多年的发展，已经形成了相当成熟的商用市场。三维扫描仪的代表性产品包括德国蔡司的 Comet、卢森堡 Artec3D 的 Spider 以及中国先临的 EinScan。
图 1：EinScan Pro 2X Plus 三维扫描仪。
然而如何扫描真实物体的复杂材质外观，在数字世界中高精度地还原出「流光溢彩」的视觉效果，一直是困扰学术界和工业界的难题。相关技术在文物数字化保护、电子商务商品展示、影视特效以及电子游戏等领域有着广阔的应用前景。
针对这一难题，浙江大学计算机辅助设计与图形学国家重点实验室和杭州相芯科技有限公司的联合研究团队提出了自由式材质扫描的可微分框架，并研制了材质外观扫描仪原型，实现了对非平面的复杂外观的高精度采集建模，如图 2 所示。
图 2：可微分自由式材质采集过程（上）和高精度复杂材质扫描结果（下）。
该研究的论文《Free-form Scanning of Non-planar Appearance with Neural Trace Photography》已被计算机图形学顶级国际会议 ACM SIGGRAPH 2021 接收。
论文地址：https://svbrdf.github.io/publications/scanner/project.html
已有工作
如图 3 所示，现有材质采集的研究工作大致可以分为两类。一类是专业级 Lightstage 系统，通过使用高达几万个独立高亮 LED 光源，对物体的反射属性在角度域上进行高效高精度测量。然而此类专业系统的造价昂贵、搭建耗时，且无法采集大小超过其容积的物体。另一类方法则使用轻量级设备（比如手机摄像头和闪光灯）。但由于闪光灯只是光照角度域中的一个点，其对应的物理采样效率非常低，因此重建结果质量不尽如人意。
相比之下，可微分材质扫描仪结合了已有两大类工作的优点，它既是轻量级的手持式设备，又能重建出高质量的材质结果。
图 3：现有材质采集研究的代表工作。从左到右分别是 [Kang et al. 2019]，[Aittala et al. 2015] 以及 [Nam et al. 2018]。其中[Kang et al. 2019] 为该团队在 2019 年发表于 ACM SIGGRAPH Asia 的早期工作。
自研材质扫描仪
该研究研制的材质扫描仪由一块 LED 灯板、一个工业相机以及自研控制电路组成。相机能以 75fps 的速度拍摄 5 百万像素的图片。灯板由 512 个高亮 RGB LED 构成。自研控制电路负责对每个 LED 进行独立亮度控制，并在硬件层面对灯板照射和相机拍摄进行同步。采用灯板的原因是为了能在光照角度域上同时做多点采样，和闪光灯等常用点光源相比，提高了物理采样效率。
图 4：自研材质扫描仪（正面、背面与侧面照片）。
研究思想
该研究的核心思想在于提出自由式材质扫描（free-form appearance scanning）问题的本质是非结构化几何学习（geometry learning）。通过创新性地建立这两个貌似相隔甚远的问题之间的联系，研究人员引入非结构化几何学习中的成熟工具来自动解决材质采集的难题。这是该论文最主要的技术贡献。
具体来说，对于真实物体表面的每个点 p，每张采集到它的照片中的某个像素记录了点 p 在特定光照和观察条件下的反射光能。如果我们把该像素值和对应的光照以及观察条件合成一个高维向量，那在整个采集过程中会得到很多这样的向量，对应于不同的采集条件。所有这些高维向量的集合可以看作 p 的轨迹（trace），它是一个非结构化的高维点云，完整地描述了对点 p 材质的测量情况。研究人员观察到任何自由式材质扫描（无论已有工作还是当前研究）的本质，都是以 p 的轨迹为输入，进行加工处理后，输出 p 的材质属性。这启发了研究人员引入非结构化几何学习工具（PointNet）来自动学习如何从轨迹（非结构化高维点云）映射到对应的材质属性。
研究人员提出了一种新的神经网络，能有效地聚合在自由式扫描中获得的非规则测量信息，还可以同时优化拍摄照片时使用的光照，最终得到高质量的材质重建结果。图 5 展示了整个系统的处理流程，图 6 可视化了所提出神经网络的结构。详情请参见论文原文。
图 5：整个采集系统的处理流程。
图 6：所提出的神经网络结构。
结果展示
研究人员使用自研可微分材质扫描仪采集并重建了多种日常物体的材质（包括任天堂 Switch 的酷霸王 amiibo 模型）。下图是实拍照片和数字化重建结果的对比。读者可以猜一猜哪一行是照片，哪一行是采集重建结果。
图 7：实拍照片与采集重建结果的比较。
该研究生成的材质使用业界标准的 Disney 各向异性 GGX BRDF 模型参数来表示，可以由任何基于物理的渲染器（PBR）直接读取并渲染出最终图片。下图展示了材质重建结果的分项参数 / 属性。
图 8：材质重建结果的分项属性（包括漫反射率、高光反射率、粗糙度等）。
该研究的材质重建结果在视觉上能接近专业级 Lightstage 的高精度重建结果，如下图所示。同时由于使用了轻量级设备可以避免前文所述的专业设备的种种不便之处。
图 9：该研究结果（第一行）与专业级 Lightstage [Kang et al. 2019]重建结果（第二行）的对比。
而与 SOTA 手持材质扫描研究 [Nam etl al. 2018] 相比，该研究显著提升了重建质量，例如正确地分解出了漫反射与高光反射分量，得到了与照片更相近的结果。这里的一个关键因素是该研究在采集时使用了优化过的高密度光源，因此在物理采样效率上显著优于使用点光源的已有工作。
图 10：该研究结果（中间三图）和照片（最左图）以及 SOTA 手持材质扫描工作 [Nam et al. 2018] 重建结果（最右图）的对比。
研究人员希望该研究能够抛砖引玉，启发一系列有趣的未来研究方向，例如将该研究的成果应用到类似硬件配置的平板电脑上（如 iPad Pro，它拥有前置摄像头以及可作为光源的可编程屏幕）；还可以研究如何结合几何扫描仪的原理，来研制可微分几何与材质联合采集设备。
