本文介绍了一种将物理模拟与场景 NeRF 模型相融合的全新方法，生成这些场景中物理现象的逼真影片。就具体效果而言，该方法能够逼真地模拟出气候变化可能产生的影响 —— 在一场小范围的洪水爆发后，操场会变成什么样子？大洪水后呢？暴雪后呢？
人们往往难以从日积月累的小变化中推导出实质性的结果，所以对于大多数人而言，将气候变化所产生的影响具像化也并非易事。减缓二氧化碳排放（比如减少化石燃料的使用）或弱化其环境影响（比如建立防洪措施）等的成本往往是人尽皆知的高昂，而其所能带来的收益却看似虚无缥缈、遥遥无期。如果无法将效果具像化，那么这些措施的投用也将举步维艰。
本文中，来自 UIUC、马里兰大学帕克分校的研究者展示了如何将物理模拟（产生很好的天气效果预测，但只有中分辨率图像）与神经辐射场（产生 SOTA 场景模型，但据悉从未与物理模拟一起使用）合并使用。
传统物理模拟可以在传统图形 pipeline 中为 3D 场景模拟出真实的天气效果，但这些方法基于传统的多边形模型，而构建能从单个场景的多个图像中产生逼真渲染的多边形模型仍具有挑战性。神经辐射场（NeRFs）可以从少量图像中生成逼真的 3D 场景模型。
论文地址：https://arxiv.org/pdf/2211.13226.pdf
研究者推出了一个 ClimateNeRF，它可以渲染出真实的天气效果，包括雾霾、雪和洪水。渲染效果和在画面上看到的一致，因此生成的影片往往令人信服。从更高的层面来看，研究者调整了场景图像以反映整体物理效果，并根据调整后的图像构建了场景的 NeRF 模型；接着复原了一个近似的几何表示，并在该几何中应用物理模拟；最后使用全新的光线追踪器进行渲染。
调整图像这一步很重要。比方在冬天，树木图像的饱和度往往较低。研究者在一个 NGP 框架中使用一种新颖的风格迁移方法，它可以在不改变场景几何的情况下获得全局效果。光线追踪器通过在渲染过程中仔细考虑光线效果将物理模型和 NeRF 模型相融合，例如一条眼球射线可能首先遇到高密度的 NeRF（因此返回通常的结果）或者它可以击中插入的水面（因此被反射以再次查询模型)。
研究者展示了 ClimateNeRF 在 Tanks and Temple、MipNeRF360 和 KITTI-360 数据集中不同 3D 场景的适用性，同时与 stable diffusion inpainting、ClimateGAN 等 SOTA 2D 图像编辑方法以及与 SOTA 3D NeRF stylization 的对比。定性和定量研究结果都表明，ClimateNeRF 的模拟结果明显较同类方法更加真实。此外，本文还展示了这种物理启发方法的可控性，可以改变水位、风力和方向，以及雪和雾霾的厚度和浓度。
ClimateNeRF 方法可以做到：让视图保持一致（这也是可以用来制作影片的原因，这在逐帧合成中很难做到）、逼真的超级现实主义（场景是一个 NeRF 表示)、并且是可控的（用户可以在模拟中调整物理参数)。如下图 1 所示，生成的照片逼真、符合常理且具备时间一致性。
方法概览
ClimateNeRF 将物理模拟与 NeRF 场景模型融合在一起，制作出逼真的气候变化影响视频。下面将举一个简单的例子来说明在该方法中组件如何实现交互：假设现在要建立一个秋天洪水泛滥场景的模型。
研究者首先获取图像，应用 Fall 风格，并根据结果构建出 NeRF。然后使用 NeRF 中的几何信息来计算水面。这可以用密度场、颜色场以及法线和 BRDF 表征来表示。最后为了渲染，我们用光线来查询模型。
研究者编辑 NeRF 的密度和颜色函数来表示烟雾等效果，并截取光线来表示镜面效应。如果一条光线首先在 NeRF 中遇到高密度，那么会对这条光线使用 NeRF integral；但如果第一次碰撞是在水面，则光线会被反射到水面，然后用反射光线查询 NeRF。具体方法见下图 2。
实验结果
下图 7 显示了烟雾模拟的定性结果。ClimateNeRF 的真实感更强且更合理（参见前景和背景的不同传输水平），它产生的结果从肉眼来看是合理的，但边界却不够清晰。此外，视频结果进一步表明，ClimateNeRF 具备更好的视图一致性。
下图 8 展示了洪水模拟的结果。其中，ClimateGAN++ 生成的洪水反射失真且一看就是模糊的人工制品。Stable Diffusion 可以模拟出真实多样的颜色和反射率，但存在幻象，如汽车、树木这类本不存在的物体，并且缺乏视图一致性。得益于物理模拟，ClimateNeRF 渲染出了精确的反射与菲涅尔效应，模拟出了真实的水波纹。视频结果表明，ClimateNeRF 具有视图一致性，并且可以模拟出流体动力学。
下图 9 展示了雪模拟结果。如图所示，3D Stylization 改变了地面的纹路，但不能在场景中添加物理实体，真实感存在限制。Swapping Autoencoder 虽能改变整体外观，但同时会产生不真实的纹理（例如汽车纹理)。而 ClimateNeRF 模拟出了逼真的冬季效果，包括积雪、天空和树木颜色的变化等，甚至能把雪堆在像踏板这样的微型结构上。
为了进行定量验证，研究者进行了用户研究，结果如下图 10 所示。用户被要求观看同一场景的合成图像或视频，并从中选出更加逼真的一个。有 37 名用户参与了这项研究，共收集到 2664 份比对结果。
ClimateNeRF 的一个独特优势在于其可控性。下图 12 展示了雾霾密度、水高、积雪厚度的变化情况。
作为一个通用框架，ClimateNeRF 可以应用于任何 NeRF 场景。下图 13 展示了 ClimateNeRF 模拟 KITTI-360 驾驶场景中的天气效果。
ClimateNeRF 对 NeRF 重建的质量具有依赖性。几何形状不准确会导致洪水和雪的模拟结果也不理想。下图 14 展示了在模拟雪的过程中，地面失真导致伪影的情况。
