在CVPR 2024会议上，来自浙江大学的研究人员提出了一种名为“Neural Structured Illumination”的创新框架，用于实时采集和重建高质量的动态三维现象。该框架的核心是一个深度神经网络，包括一个编码器，它直接将结构光映射到采集过程中，一个解码器，它从单像素测量中预测出1D密度分布，以及一个聚合模块，它将每个相机预测的密度组合成一个单一的体积。
通过这种方式，该框架能够实现物理采集和计算重建的自动和联合优化，并灵活地适应不同的硬件配置。在实验中，研究人员使用了一个轻量级的设置，包括一个现成的投影仪和一个或多个相机，实现了每秒40个体积的采集和重建性能，空间分辨率为1283。
与最先进的技术相比，该框架在真实和合成实验中表现出色，并评估了各种因素对管道的影响。这种方法在科学研究领域具有广泛的应用前景，如飞机设计、车辆制造、天气预报和现代显微镜等。
然而，该框架也存在一些局限性。首先，它依赖于结构光的优化，这可能需要额外的计算资源和时间。其次，尽管该框架在实验中表现出色，但在实际应用中可能需要进一步的优化和改进。
论文链接：https://svbrdf.github.io/publications/realtimedynamic/realtimedynamic.pdf
