导读
神经辐射场(Neural Radiance Field, NeRF)凭借高保真的新颖视角合成能力重塑了三维重建范式,但其将场景信息编码于神经网络权重的隐式特性,直接导致了传统基于网格或纹理的编辑工具失效,形成了“重建易、编辑难”的核心矛盾。早期研究试图通过提取显式几何代理或潜空间解耦来恢复可控性,但受限于拓扑变化与语义缺失,难以满足复杂场景的编辑需求。随着二维扩散模型在图像编辑领域的成熟,研究范式在 2023 年发生根本性转变,从直接优化三维参数转向“二维图像生成 + 三维一致性约束”的混合路线。这一转变虽然引入了强大的语义理解能力,却将核心挑战转移至多视角一致性(View Consistency)与几何保真度的平衡上。当前领域正处于高度活跃期,方法体系在显式代理、生成式反演与外观分解之间形成了多元并存的格局。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
神经辐射场(NeRF)通过多层感知机(MLP)隐式编码场景的密度与颜色,实现了从稀疏图像到高质量三维场景的重建,但其隐式表示(Implicit Representation)使得几何与外观信息纠缠在权重中,缺乏显式结构。这种特性使得传统的局部几何操作或属性修改无法直接执行,构成了该领域最基础的矛盾。为了解决这一矛盾,早期研究将问题形式化为在保持多视角一致性的前提下,对隐式场进行可控修改。具体而言,给定一组输入图像 $I = {Ii}{i=1}^N$ 和相机位姿 ${Ci}{i=1}^N$,NeRF 学习一个映射 $F: \mathbb{R}^3 \times \mathbb{R}^2 \rightarrow (\sigma, c)$,其中 $\sigma$ 为密度,$c$ 为颜色。编辑任务则要求在修改 $F$ 或引入辅助结构后,使得渲染结果 $I' = \int T(t) \sigma(t) c(t) dt$ 符合特定的语义或几何指令,同时保持未编辑区域的一致性。
子问题之间存在清晰的依赖关系:多视角一致性是底层约束,制约着所有编辑方法的上限;语义理解是局部编辑的前提,不解决语义定位就无法实现精确的对象级操作;而编辑效率则是工程化落地的瓶颈,依赖于前两者的算法优化。在 2021 至 2022 年的奠基阶段,研究重心在于“显式化”或“结构化”。EditNeRF(Liu et al., 2021)通过分离形状与外观潜码,确立了基于条件辐射场的编辑范式;CLIP-NeRF(Wang et al., 2021)首次引入视觉语言模型,利用文本驱动潜空间映射,开启了语义感知编辑的探索。这一时期的方法主要依赖几何或颜色参数的直接优化,受限于当时二维生成模型语义理解能力的不足。
2023 年成为关键转折点,随着 InstructPix2Pix 等二维扩散模型的成熟,研究范式发生根本性转变。Instruct-NeRF2NeRF(Haque et al., 2023)证明了利用预训练扩散模型生成多视角一致图像再反演 NeRF 的有效性,将问题从“三维参数优化”转化为“二维生成 + 三维一致性约束”。这一转变解决了语义理解难题,但引入了新的视角漂移与几何模糊问题。随后,DATENeRF(Rojas et al., 2024)和 SIGNeRF(Dihlmann et al., 2024)通过引入深度图或参考表作为 ControlNet 条件,显式利用几何信息约束生成过程,显著提升了多视角一致性。
2024 至 2026 年,研究重心进一步细化至局部编辑、动态场景以及基于 3D Gaussian Splatting(3DGS)的新表示编辑。Mani-GS(Gao et al., 2024)将网格编辑范式扩展至 3DGS,解决了新表示缺乏显式几何结构导致的编辑困难;Perturb-and-Revise(Hong et al., 2024)则通过参数扰动与生成轨迹平衡,解决了文本编辑中保真度与编辑幅度难以平衡的问题。当前领域处于高度活跃期,核心驱动力在于解决多视角一致性与编辑自由度之间的平衡,旨在实现直观、高效且语义感知的三维内容创作。
如果用一个核心问题概括该领域,那便是:如何在保持 3D 场景多视角几何一致性的前提下,利用 2D 生成先验或显式代理实现语义感知的可控编辑。
2. 方法体系
2021:CLIP-NeRF——奠定该领域方法基线
2022:NeRF-Editing——推进显式代理编辑
2023:Instruct-NeRF2NeRF——开启生成式反演范式
2024:DATENeRF——引入深度几何约束
2025:Perturb-and-Revise——代表当前前沿
这条时间线勾勒了该领域方法演进的代表性节点:从 2021 年的 CLIP-NeRF 奠定该领域方法基线,经 2022 年 NeRF-Editing 的推进,到 2025 年的 Perturb-and-Revise 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 几何变形与交互编辑
几何变形路线的核心假设是,通过提取显式代理(如网格或点云)可以绕过隐式场的不可操作性,实现直观的交互编辑。NeRF-Editing(Yuan et al., 2022)是该路线的代表,它从隐式辐射场提取显式三角网格作为代理,将用户网格编辑转化为体积变形场,进而引导光线弯曲以渲染编辑后的场景。该方法解决了 NeRF 难以直接进行局部几何操作的问题,但代价是依赖于网格提取的准确性,且复杂拓扑变化可能导致变形场不连续。NeuralEditor(Chen et al., 2023)则利用 K-D 树引导的点云结构作为底层表示,通过操纵点云实现几何变形。与 NeRF-Editing 的网格代理不同,NeuralEditor 利用点云的局部性,使得编辑操作仅影响局部区域,避免了全局优化的计算开销,但点云密度对编辑质量有显著影响。
随着 3DGS 的兴起,Mani-GS(Gao et al., 2024)将网格编辑范式扩展至 3DGS,通过网格代理实现几何变形。该方法解决了 3DGS 缺乏显式几何结构导致的编辑困难,提升了三维内容创作的效率,但网格提取的近似性可能影响变形精度。Mesh-Guided Neural Implicit Field Editing(Wang et al., 2023)则基于可微分网格表示,实现了网格编辑与隐式场优化的端到端训练,避免了传统方法中网格与场分离导致的伪影,但可微分网格提取的计算开销较大。NeRFDeformer(Tang et al., 2024)利用单视角 RGBD 图像中的 3D 场景流,实现 NeRF 的非刚性变换,支持从单视角图像中提取运动信息并更新 NeRF 参数,但单视角信息的局限性可能导致深度估计误差。
2.2 文本驱动场景编辑
文本驱动路线在 2023 年后成为主流,其核心是利用二维扩散模型强大的语义理解能力生成多视角一致图像,再反演至三维。Instruct-NeRF2NeRF(Haque et al., 2023)采用迭代式图像编辑与三维整合策略,首先利用 InstructPix2Pix 对多视角输入图像进行内容修改,随后重新训练 NeRF 以固化场景变化。该方法确立了“二维编辑驱动三维重建”的技术路线,但其多视角独立编辑导致的几何模糊问题激发了后续关于视角一致性约束的研究。
针对 Instruct-NeRF2NeRF 的几何漂移问题,DATENeRF(Rojas et al., 2024)提出深度感知的文本编辑框架,利用预训练 NeRF 提取的场景深度图作为 ControlNet 的条件输入,引导二维扩散模型在编辑时保持与原始几何结构的一致性。该方法通过显式利用三维几何信息约束二维生成过程,显著提升了文本编辑的几何保持能力,但依赖于 NeRF 深度估计的准确性。SIGNeRF(Dihlmann et al., 2024)引入参考表(Reference Sheet)概念,将多视角图像排列成网格布局,利用 ControlNet 在单次扩散过程中生成多视角一致的编辑图像。该方法通过空间布局约束生成模型,避免了逐视角独立编辑带来的不一致性,实现了场景集成生成的高效控制,但参考表的生成质量对最终结果影响较大。
ED-NeRF(Park et al., 2023)提出在 Stable Diffusion 的潜空间优化 NeRF,通过 VAE 编码图像特征并引导 NeRF 直接预测这些特征向量,实现高效的文本引导编辑。该方法避免了像素级优化的低效,利用潜空间的高维语义信息加速编辑过程,但依赖于 VAE 编码的准确性,且潜空间优化可能丢失部分高频细节。Perturb-and-Revise(Hong et al., 2024)提出基于生成轨迹的参数扰动与平衡策略,通过在 NeRF 参数空间中引入随机扰动使模型逃离局部极小值,并利用生成 ODE 引导参数向目标文本分布收敛。该方法解决了传统优化方法在编辑幅度大时容易陷入局部最优或完全重生成导致模糊的问题,但引入了额外的参数扰动计算开销。
2.3 外观与风格化编辑
外观编辑路线聚焦于颜色重绘、风格迁移及材质属性修改,旨在保持几何结构下的外观高效编辑。PaletteNeRF(Kuang et al., 2022)通过提取颜色调色板并训练分割模型将场景外观分解为基色与权重,实现基于调色板交互的颜色重绘与风格迁移。该方法避免了物理属性估计的复杂性,提供了直观且高效的局部外观编辑工具,成为颜色编辑领域的常用基线,但调色板数量限制可能丢失细微颜色变化。
LAENeRF(Radl et al., 2023)提出局部外观编辑框架,通过优化颜色调色板与偏移量,实现保持几何结构下的局部重绘与风格化。该方法通过正则化约束提升编辑的局部性与一致性,解决了传统调色板方法在局部编辑中引入伪影的问题,但优化过程需要额外的正则化参数调整。Freditor(He et al., 2024)提出频率分解的 NeRF 编辑框架,将场景特征分为高频与低频分支,高频分支保留内容细节,低频分支实现可迁移的风格化。该方法实现了风格的可迁移性与可控性,解决了传统风格化方法难以跨场景应用的问题,但频率分解可能引入边界伪影。
NeRF Analogies(Fischer et al., 2024)将二维图像类比扩展至 NeRF,利用语义特征驱动的外观转移,实现源 NeRF 外观到目标几何的语义一致映射。该方法通过预训练二维图像模型的语义特征建立源与目标之间的对应关系,确保外观转移的语义合理性,但依赖于二维模型的语义准确性。FENeRF(Sun et al., 2021)提出可编辑的 NeRF 生成器,通过分离形状与纹理潜码,实现语义引导的人脸编辑。该方法利用双潜码架构,确保编辑的视角一致性,解决了二维 GAN 编辑缺乏三维一致性的问题,但生成器训练复杂度较高。
2.4 3D填充与物体移除
3D 填充与物体移除路线针对场景中的物体移除或区域缺失,利用多视角分割与扩散先验进行 3D 一致的内容填充。Removing Objects From NeRFs(Weder et al., 2022)结合多视角分割与二维图像修复先验,通过优化 NeRF 参数实现物体移除后的背景一致性补全。该方法证明了利用二维生成先验辅助三维隐式场补全的可行性,为后续基于扩散模型的 3D 填充奠定了技术基础,但依赖于二维修复器的质量。
SPIn-NeRF(Mirzaei et al., 2022)结合多视角分割与感知修复,通过语义 NeRF 生成一致的 3D 掩码,并利用二维修复器作为外观与几何先验监督新 NeRF 的训练。该方法解决了多视角分割不一致导致的修复伪影问题,提升了 3D 物体移除后的视觉质量,但语义 NeRF 训练需要额外数据。InNeRF360(Wang et al., 2023)针对 360 度场景提出文本引导的 3D 一致物体填充,利用深度扭曲与多视角分割生成一致的掩码,再通过 NeRF 优化实现背景补全。该方法解决了 360 度场景中多视角掩码不一致的问题,提升了填充的几何准确性,但深度估计误差可能影响掩码质量。
MVIP-NeRF(Chen et al., 2024)利用扩散先验进行多视角 3D 填充,通过几何约束确保填充内容在几何与外观上的一致性。该方法解决了传统二维修复在三维场景中缺乏几何理解的问题,实现了高质量的物体移除与区域补全,但扩散模型推理耗时较长。Taming Latent Diffusion Model for NeRF Inpainting(Lin et al., 2024)利用潜空间扩散模型进行 NeRF 填充,通过优化潜空间特征实现高质量的新视角合成。该方法避免了像素级生成的低效,提升了填充的细节保真度,但潜空间优化可能丢失部分几何信息。
2.5 动态场景与人脸编辑
动态场景编辑是静态编辑的自然延伸,但需要额外的时间一致性约束。4D-Editor(Jiang et al., 2023)通过语义蒸馏实现动态 NeRF 中的交互式物体级编辑,支持对动态场景中特定物体的选择与修改。该方法解决了动态场景编辑中时空一致性与物体分离的难题,扩展了 NeRF 编辑至 4D 动态领域,但语义蒸馏需要额外训练。Dyn-E(Zhang et al., 2023)提出动态 NeRF 的局部外观编辑框架,通过单帧二维图像编辑提升为时空一致的 3D 编辑内容。该方法利用局部表面表示与运动场,将二维编辑信息传播至动态场景的其他帧,解决了动态场景编辑中时间一致性问题,但运动场估计对快速运动敏感。
JacobiNeRF(Xu et al., 2023)通过互信息梯度塑造 NeRF,使场景扰动具有语义意义,支持基于语义的局部编辑。该方法最大化场景实体间的互信息,使得参数扰动能够协调地改变相关区域,解决了传统 NeRF 扰动缺乏语义感知的问题,但互信息计算开销较大。UVA(Fan et al., 2023)提出统一体积化身框架,支持视角合成、姿态渲染及几何与纹理的局部编辑。该方法解耦几何与纹理表示,通过独立潜码控制实现局部编辑,实现了三维化身编辑的灵活性,但体积表示内存占用较大。
3. 关键共识、分歧与开放问题
3.1 领域共识
NeRF 的隐式表示是编辑的主要障碍,必须通过显式代理(如 Mesh、点云)或语义分解来实现可控编辑,这一共识在约 15 篇论文中得到共同支持。2D 扩散模型已成为 NeRF 编辑的核心组件,通过生成多视角一致的图像来引导 3D 重建,取代了早期的 GAN 或 CLIP 直接优化方法,这一共识在约 12 篇论文中得到共同支持。视角一致性(View Consistency)是 NeRF 编辑成功的关键指标,独立编辑各视角会导致严重的 3D 伪影,必须引入几何约束或联合优化,这一共识在约 10 篇论文中得到共同支持。局部编辑(Local Editing)比全局风格迁移更具挑战性,需要精确的区域分割和边界处理技术,以避免对非编辑区域的影响,这一共识在约 8 篇论文中得到共同支持。基于优化的编辑方法虽然灵活但速度慢,无法满足实时交互需求,因此研究趋势转向预训练模型或快速收敛策略,这一共识在约 7 篇论文中得到共同支持。语义信息(如分割、类别)对于实现对象级编辑(如移除、替换)至关重要,纯几何或颜色编辑无法处理复杂场景中的特定物体,这一共识在约 6 篇论文中得到共同支持。3D 内容编辑的最终目标是实现直观的用户交互,文本提示和图像参考是最主要的输入模态,旨在降低 3D 创作门槛,这一共识在约 5 篇论文中得到共同支持。动态场景编辑是静态编辑的自然延伸,但需要额外的时间一致性约束,当前研究正从静态向动态场景扩展,这一共识在约 4 篇论文中得到共同支持。
3.2 观点分歧
几何约束的强度是领域内的核心分歧,强约束派(DATENeRF, SIGNeRF)认为必须显式利用深度图或参考表来确保多视角一致性,否则 3D 重建质量无法保证;弱约束派(Instruct-NeRF2NeRF, Perturb-and-Revise)认为过度约束会限制生成多样性,应通过优化算法(如参数扰动)或迭代生成来平衡一致性。现有证据偏向强约束派在几何保真度(PSNR/SSIM)上更优,但弱约束派在语义对齐(CLIP Score)和编辑自由度上更具优势。哪种实验能定输赢:在复杂几何场景(如 Mip-NeRF 360)上进行“编辑幅度 vs 几何误差”的定量对比实验。未定论原因:缺乏统一的“编辑保真度”指标,现有评测多侧重单一维度(几何或语义),且不同场景(静态/动态、简单/复杂)下的最优约束强度不同,场景依赖性导致难以定论。
编辑范式是另一个根本性争论,3D 优化派(NeRF-Editing, NeuralEditor)认为直接在 3D 空间操作(通过代理或变形场)更符合 3D 编辑的本质,避免 2D 生成的视角不一致问题;2D 生成派(Instruct-NeRF2NeRF, DATENeRF)认为 2D 生成模型拥有强大的语义先验,直接优化 3D 参数难以实现复杂的语义编辑,且 3D 优化速度慢。2D 生成派在语义编辑任务(如文本驱动)上表现显著优于 3D 优化派,但 3D 优化派在几何精确编辑(如局部变形)上更可控。证据强度中等,因为两者解决的任务侧重不同。未定论原因:任务定义不同:语义编辑倾向于 2D 生成,几何编辑倾向于 3D 优化。未来可能出现融合范式,但目前缺乏在单一框架下同时优化语义与几何的方法。
局部编辑的边界处理是第三个分歧点,硬分割派(SPIn-NeRF, InNeRF360)使用明确的掩码进行分割,边界清晰,易于控制,但易产生边界伪影;软分解派(SSDNeRF, LAENeRF)使用软权重或频率分解,边界平滑,视觉质量高,但控制精度较低,易影响非编辑区域。软分解派在感知质量(LPIPS)上通常优于硬分割派,但硬分割派在分割精度(mIoU)上更优。证据强度较强,因为边界伪影是视觉感知的重要指标。未定论原因:用户交互习惯与任务需求不同:精确移除物体需要硬分割,风格迁移需要软分解。缺乏自适应边界处理机制,能根据任务自动调整分割强度。
3.3 其他开放问题
最紧迫的工程问题是实时交互编辑,现有方法训练或推理耗时较长,难以满足实时交互需求,需通过轻量化网络、潜空间编辑或预计算策略加速,潜在路径包括使用 Instant-NGP 或潜空间 NeRF。最根本的研究问题是动态场景编辑的复杂性,当前方法多针对静态场景,动态场景编辑面临时空一致性和运动建模挑战,需结合动态 NeRF 或 4D 表示,潜在路径包括使用变形场或时空特征蒸馏。此外,版权保护与水印嵌入也是尚未解决的研究问题,NeRF 模型易被复制,需在不影响渲染质量的前提下嵌入鲁棒水印,需平衡水印容量与鲁棒性,潜在路径包括使用频域嵌入或渐进式渲染。
已知—争议—未知认知图谱:已知隐式表示必须通过代理或生成模型进行间接编辑,争议在于几何约束的强度与编辑范式的选择,未知在于动态场景的时空一致性建模与语义理解的 3D 原生性。发展趋势:基于 3DGS 的编辑(Mani-GS 已开启)、多模态输入(草图/音频)的融合。
4. 总结与展望
NeRF 编辑领域的核心矛盾在于隐式表示的可编辑性与多视角一致性之间的张力。早期研究通过显式代理或潜空间解耦试图恢复可控性,但受限于语义缺失与拓扑变化;2023 年后,二维扩散模型的引入使得“二维生成 + 三维反演”成为主流,解决了语义理解难题,但引入了新的视角一致性挑战。当前研究聚焦于通过几何约束(如 ControlNet、深度图)来平衡生成自由度与 3D 保真度,核心瓶颈在于如何在保持多视角一致性的前提下,最大化二维生成模型的语义自由度,并实现实时交互。
未来可能突破的方向包括:提升多视图一致性与几何保真度,通过引入几何感知损失、深度条件控制或多视图联合优化来解决,潜在路径包括使用 ControlNet 或几何蒸馏;实现高效实时交互编辑,通过轻量化网络、潜空间编辑或预计算策略加速,潜在路径包括使用 Instant-NGP 或潜空间 NeRF;支持复杂动态场景编辑,结合动态 NeRF 或 4D 表示,潜在路径包括使用变形场或时空特征蒸馏。对进入者最值得做的一件事是:在统一骨干与统一预训练条件下,构建一个涵盖几何保真度、语义对齐与感知质量的综合评测基准,以解决当前缺乏统一“编辑保真度”指标的问题。
以上为节选,完整内容见ArxivReview