导读
阴影与反射去除旨在消除光照不均或透明介质引起的视觉退化,其核心价值在于恢复图像的物理真实外观以支撑下游感知任务。早期研究依赖物理模型与手工特征,思路直观却难以应对复杂场景下的长程依赖与软阴影边界。当深度学习确立主流后,Transformer 的全局注意力机制解决了局部感受野的局限,而扩散模型与基础模型的引入则通过强生成先验与语义几何引导,缓解了确定性映射在复杂光照下的幻觉问题。各路线在物理可解释性、恢复保真度与计算效率之间做出了不同取舍,由此形成当前从像素修复向物理场景重建演进的多元方法格局。本综述梳理这条从数据驱动到物理对齐的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
阴影与反射去除是计算机视觉中恢复图像真实外观的基础任务,其核心在于消除由光照不均、物体遮挡或透明介质反射引起的视觉退化。在形式化定义上,给定一张退化图像 $I$,目标是恢复其内在反射率或透射层 $R$,这通常被建模为光照-反射分解问题。对于阴影去除,问题可表述为 $I = R \odot L + N$,其中 $L$ 为光照分量,$\odot$ 表示逐像素乘法,$N$ 为噪声;对于反射去除,则涉及透射-反射分离,即 $I = \alpha T + (1-\alpha) R{ref}$,其中 $\alpha$ 为透射率,$T$ 和 $R{ref}$ 分别为透射层和反射层。这一物理分解框架构成了后续所有方法设计的理论基石。
该领域的问题定义经历了从理想化配对数据到真实噪声场景的深刻演化。早期研究假设光照退化是线性的且场景简单,主要依赖物理模型和手工特征,如 2019 年的 DSC 方法通过分离阴影与非阴影区域进行颜色校正,奠定了物理基础但受限于泛化能力。随着深度学习在 2020 年前后确立主流,问题定义转向数据驱动的端到端映射,但此时暴露出阴影与固有暗色的 RGB 线索混淆问题,导致颜色失真。这一瓶颈促使研究者引入深度、语义或物理光照模型进行解耦,问题定义从单纯的像素修复逐渐转向物理一致的场景重建。
子问题之间存在明显的依赖与互补关系。阴影去除、高光去除和反射去除在底层均涉及光照-反射分解,但反射去除因单图像输入的病态性更依赖多模态线索,如语言、深度或偏振信息。环境光归一化(Ambient Lighting Normalization, ALN)则是阴影去除的广义扩展,要求处理多光源和非均匀光照,其解决依赖于前序任务中建立的物理先验融合能力。这种层级关系决定了方法演进的路径:先解决单一退化的鲁棒恢复,再扩展到复杂光照的统一建模。
从 2016 年至 2018 年,领域处于奠基阶段,物理模型与早期 CNN 方法并行发展,主要解决硬阴影的去除问题。2020 年至 2022 年,跨域基准的引入暴露了域偏移下的性能下降,Transformer 架构的兴起开始改变这一局面。2023 年至 2024 年,扩散模型和基础模型(如 DINO、CLIP)的引入带来了范式转变,通过强大的生成先验和语义几何引导,解决了传统确定性映射在复杂光照下的幻觉问题。2025 年至 2026 年,研究重心进一步细化,Mamba 状态空间模型解决了 Transformer 的计算瓶颈,物理对齐的反射分离和环境光归一化成为新焦点,标志着领域从“去伪”向“重建”的跨越。
在这一演进过程中,方法因应约束变化而不断调整。2020 年的 DHAN 通过多尺度特征融合提升阴影边界细节,标志着深度学习方法在阴影去除领域的成熟。2023 年的 DSRNet 提出通用的反射形成模型,成为反射去除的重要里程碑。2024 年的 OmniSR 结合语义与几何引导的 Transformer 架构,实现了直接光与间接光阴影的统一去除。2025 年的 DeshadowMamba 将阴影去除重构为 1D 序列相似性问题,利用 Mamba 捕获长程依赖,解决了 Transformer 在局部退化上的计算瓶颈。2026 年的 PDSS-Net 则针对遥感影像,解耦本影与半影的退化动态,代表了当前物理引导方法的前沿。
如果用一个核心问题概括该领域,那便是:如何在缺乏完美配对数据和复杂光照条件下,利用物理先验与数据驱动模型的协同,实现从退化图像到物理一致场景外观的鲁棒恢复。
2. 方法体系
2019:DSC——基于物理光照模型与手工特征的传统阴影检测与去除方法
2020:DHAN——引入注意力机制的卷积神经网络
2023:DSRNet——提出通用的反射形成模型并引入可学习残差项
2024:OmniSR——结合语义与几何引导的Transformer架构
2025:DeshadowMamba——利用Mamba状态空间模型捕获长程依赖
2025:RDNet——基于残差学习的单图像反射去除网络
2026:DINOLight——集成自监督DINOv2视觉先验的环境光照归一化框架
2026:PDSS-Net——物理引导的阴影合成与半影感知去除网络
这条时间线勾勒了该领域方法演进的代表性节点:从 2019 年的 DSC 奠定该领域方法基线,经 2020 年 DHAN 的推进,到 2026 年的 PDSS-Net 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 图像阴影去除
图像阴影去除的早期工作主要依赖物理光照模型和手工特征,假设光照退化是线性的且场景简单。2019 年的 DSC 方法通过分离阴影区域与非阴影区域进行颜色校正,奠定了早期阴影去除的物理基础,但受限于复杂场景下的泛化能力。2020 年的 DHAN 引入注意力机制的卷积神经网络,通过多尺度特征融合提升阴影边界处的细节恢复能力,标志着深度学习方法在阴影去除领域的成熟,成为后续许多工作的对比基线。2021 年的 DC-ShadowNet 采用解耦策略分别处理阴影检测与去除任务,利用对抗生成网络增强生成质量,解决了传统方法在软阴影处理上的不足,推动了无监督阴影去除的发展。
随着 Transformer 架构的引入,全局注意力机制显著提升了阴影边界一致性和非阴影区域引导能力。2024 年的 OmniSR-Cascade(Beltrame et al., 2026, P15)构建基于 Transformer 的三阶段迭代恢复级联框架,旨在解决单阶段模型在复杂光照下残留误差的问题。该方法一次性提取 DINOv2 语义特征和基于单目深度及表面法线的几何引导,并在所有恢复阶段中复用这些辅助输入。通过多阶段链式策略,每一阶段以前一阶段的预测为输入进行渐进式精炼,逐步消除色彩偏差和局部边界伪影。其核心取舍在于依赖高质量的外部特征提取器,增加了推理时的计算开销,但在处理直接光和间接光混合场景时表现出更强的鲁棒性,成为 CVPR 2026 NTIRE 挑战赛的获胜方案。
针对 Transformer 的计算瓶颈,2025 年的 DeshadowMamba(Yang et al., 2025, P2)将阴影去除任务重构为一维序列相似性建模问题,利用 Mamba 状态空间模型替代传统 Transformer 以解决二次复杂度瓶颈。该方法引入 CrossGate 调制策略,在保持全局感受野的同时注入点级序列相似性,通过门控一维交互捕获水平和垂直方向的长程依赖。针对阴影恢复中常见的色偏伪影,设计了由全局颜色统计引导的 ColorShift 正则化机制,有效抑制非阴影区域对阴影区域的色彩污染。其核心取舍在于牺牲部分局部细节的即时恢复能力,换取对全局光照一致性的更强建模能力,特别适用于需要精细空间与色彩校正的局部退化场景。
为了提升物理一致性,2026 年的 PhaSR(Lee et al., 2026, P7)提出物理对齐先验的通用图像阴影去除框架,通过双层级先验对齐实现物理可解释的恢复。在全局层面,利用对数域 Retinex 理论执行无参数光照-反射分解,抑制彩色光源引起的色偏并稳定亮度分布。在局部层面,引入几何语义整流注意力(GSRA),通过跨模态差分注意力对齐深度导出的着色线索与语义嵌入,解决模态间在均匀光照区域的冲突响应。该方法无需显式阴影掩码,即可从单光源直接阴影泛化到多源环境光照,核心在于利用物理假设约束网络推理过程。其代价是引入了额外的 Retinex 分解计算步骤,且对深度估计的准确性有一定依赖,但在复杂光照条件下显著提升了反射率恢复的物理一致性。
CFSR(Wang et al., 2026, P16)将阴影去除重构为物理约束的退化逆问题,而非传统的黑盒图像到图像映射。该方法利用冻结的 DINO 和 CLIP 编码器注入高层语义先验,补偿密集阴影中的信息丢失,同时引入频率协同重建模块(FCRM)显式条件化于 3D 几何结构。FCRM 通过解耦表示空间,平衡细节合成与全局光照一致性,防止语义先验导致的物理不合理幻觉。其核心创新在于将基础模型的语义能力与显式物理约束相结合,确保恢复图像严格遵循潜在干净图像流形。该方法依赖于外部几何估计的准确性,但在保持纹理保真度与物理一致性之间取得了严谨平衡,为阴影去除提供了具有物理可解释性的新范式。
在无监督学习方面,Consistency-Reg(Duong et al., 2026, P22)提出基于一致性的无监督阴影去除方法,利用不同阴影观测中场景内容的一致性作为正则化信号。该方法假设阴影模式随观测变化,但底层场景内容保持一致,通过构建包含多视角或不同光照条件的图像序列,学习去除阴影的不变表示。采用 UNet 架构进行单通道推理,避免扩散模型的高计算成本,同时利用一致性损失约束网络输出,使其在缺乏配对数据的情况下仍能恢复真实外观。其核心取舍是依赖于多张相关图像的存在,限制了在单张孤立图像上的直接应用,但在无标注数据场景下显著降低了对配对数据集的依赖。
针对特定场景,Face Shadow Eraser (FSE)(Luo et al., 2026, P8)设计轻量级且表达力强的渐进式流水线框架。该方法包含阴影感知定位、粗粒度遮挡去除和细粒度面部精炼三个级联阶段,联合优化结构一致性与光度保真度。通过阈值化目标与输入图像的差异生成初始掩码,引导后续阶段进行精细化恢复。其核心创新在于针对人脸特定结构(如五官、皮肤纹理)设计专用模块,而非通用图像恢复网络,从而在保持面部特征自然性的同时有效去除阴影。该方法依赖于初始掩码的质量,但在处理复杂面部几何与光照交互时表现出更高的保真度,填补了大规模人脸阴影配对数据集缺失下的方法空白。
图像阴影去除路线与反射去除路线在底层均涉及光照-反射分解,但阴影去除更侧重于光照分量的估计与校正,而反射去除则面临更严重的病态性问题,需引入更多外部线索。
2.2 遥感卫星阴影处理
遥感卫星影像中的阴影问题具有独特的挑战,主要源于配对数据稀缺与复杂几何结构。2026 年的 PDSS-Net(Lu et al., 2026, P14)提出物理引导的阴影合成与半影感知去阴影网络,专门针对航空航天影像中配对数据稀缺的问题。该方法将阴影建模解耦为本影和半影两个具有不同退化与恢复动态的物理过程,首先通过自动化阴影退化估计器提取线性光照衰减参数库。随后利用物理引导的初始合成模块构建粗阴影表示,并集成空间衰减坐标注意力(SDCA)模块的生成式精炼网络,实现高保真的物理特性模拟。其核心创新在于显式区分本影与半影的恢复策略,避免了将阴影视为同质区域的传统做法。该方法依赖于线性光照退化假设的准确性,但在复杂地形和大气条件下显著提升了阴影去除的物理一致性,为卫星影像预处理提供了新工具。
SARU(Bo et al., 2026, P17)构建阴影感知与去除统一框架,专门解决遥感影像中阴影检测与去除的领域差异问题。该方法指出自然图像训练的模型直接迁移到遥感影像时,因视角、纹理和光谱特征差异导致性能下降,因此设计了针对遥感场景的专用基准数据集。通过统一框架同时优化阴影检测与去除任务,利用遥感影像中阴影与非阴影区域在像素强度分布上的相似性进行弱监督学习。其核心创新在于强调领域适应性,通过新基准数据集验证模型在真实遥感场景中的泛化能力,而非仅依赖自然图像数据。该方法依赖于大规模遥感标注数据的构建,但在城市规划和灾害评估等下游任务中显著提升了阴影处理的实用性。
deSEO(Beltrame et al., 2026, P18)提出物理感知的高分辨率卫星图像阴影去除数据集创建与训练流水线。该方法利用 S-EO 数据集的几何感知设计和多时相、多角度采集特性,创建支持数据驱动去阴影的配对样本,以应对真实采集变异性。通过单阶段弱监督网络执行去阴影,充分利用 S-EO 中嵌入的物理先验,如太阳角度和地形信息。其核心创新在于将物理模型与深度学习结合,通过预处理流水线将几何信息转化为可学习的监督信号,解决了传统物理方法产生伪影的问题。该方法依赖于多时相数据的质量和对齐精度,但在高坡度环境和城市阴影场景中显著提升了去阴影的鲁棒性,为地球观测数据预处理提供了标准化方案。
遥感卫星阴影处理路线与自然图像阴影去除路线在物理先验的使用上高度一致,但前者更强调几何参数(如太阳角度、地形)的显式建模,以应对俯视视角和稀疏纹理带来的挑战。
2.3 镜面高光去除
镜面高光去除旨在恢复非朗伯表面产生的饱和、视角依赖的反射伪影下的漫反射细节。2025 年的 UnReflectAnything(Rota et al., 2025, P5)提出仅基于 RGB 的高光去除方法,通过渲染合成镜面监督信号解决真实配对数据稀缺问题。该方法集成物理基础的虚拟高光合成与令牌空间修复,将几何渲染、高光定位和特征级重建统一到一个框架中。利用冻结的 DINOv3-Large 视觉 Transformer 作为编码器提取多尺度令牌特征,通过轻量级解码器预测高光概率图,并指导令牌修复器重建被高光遮挡的漫反射区域。其核心创新在于利用合成数据增强模型对多样化高光模式的泛化能力,同时保持对真实图像结构的忠实度。该方法依赖于合成数据与真实数据的域差距控制,但在内窥镜等复杂光照场景中显著提升了深度估计和光流计算的准确性,为手术机器人导航提供了更清晰的视觉输入。
One-Step Specular Highlight Removal(P24)提出基于 Stable Diffusion Turbo 的一步镜面高光去除模型,通过引入新的适配器层条件化输入图像。该方法避免了从头训练扩散模型的高昂成本,利用预训练文本到图像模型的强大生成先验,通过适配器层将输入图像特征注入去噪过程。损失函数结合多尺度 L1 损失以强制像素级准确性,以及感知损失以确保高层特征相似性,从而在去除高光的同时保持图像自然色彩和结构。其核心创新在于将扩散模型的高效采样能力与任务特定适配器结合,实现了单步推理的高保真恢复。该方法依赖于预训练模型的泛化能力,但在文档、人脸等反射表面处理中显著优于传统多阶段方法,降低了计算复杂度。
Neural Solver of DRM(P23)提出基于双色反射模型(DRM)的神经求解器,专门解决非朗伯表面高光去除问题。该方法设计 HDNet 和 ACENet 在低分辨率空间操作,分别检测高光和估计 DRM 变量,同时利用上下文对比特征引导块(CCFGB)提供多级位置信息。RNet 在高分辨率空间执行最终重建,输入包括漫反射、镜面残差和原始图像,通过 ConvNeXt 块实现细节恢复。其核心创新在于将物理模型变量估计与深度学习结合,克服了传统方法对均匀高光色度假设的依赖,能够处理白色文本等无彩色表面。该方法依赖于 DRM 假设的适用性,但在 VR/AR 应用中显著提升了图像真实感,为内禀图像分解提供了更准确的漫反射分量。
Shift-Window Meets Dual Attention(Huo et al., 2025, P3)提出多模型架构用于镜面高光去除,结合移位窗口机制与双注意力模块以平衡计算效率与恢复质量。该方法针对 Transformer 在实时应用中的高计算需求,设计轻量级注意力机制捕获局部与全局依赖,同时利用移位窗口扩大感受野。通过多模型集成策略,不同子网络分别处理高光检测与去除任务,最终融合输出以优化细节保留。其核心创新在于架构层面的效率优化,使得高光去除模型能够部署在自动化系统等资源受限平台。该方法依赖于多模型训练的复杂性,但在保持高恢复精度的同时显著降低了推理延迟,为工业视觉检测提供了实用解决方案。
镜面高光去除路线与反射去除路线在物理模型的使用上存在重叠,但高光去除更侧重于漫反射分量的恢复,而反射去除则需同时处理透射与反射层的分离。
2.4 反射去除与分离
反射去除与分离处理透过玻璃等介质捕获的反射图像,其核心挑战在于单图像输入的病态性。2023 年的 DSRNet 提出通用的反射形成模型并引入可学习残差项,通过端到端学习分离透射层与反射层,显著提升了单图像反射去除的鲁棒性,成为该领域的重要里程碑。2024 年的 DSIT 基于潜空间扩散模型的反射分离方法,通过迭代去噪过程恢复透射层,解决了线性叠加模型无法处理非线性反射的问题,提升了真实场景下的分离效果。
2026 年的 ALANet(Fang et al., 2026, P9)提出自适应语言感知图像反射去除网络,利用语言描述引导透射层与反射层的分离。该方法包含语言感知分离分支、感知解耦分支和语言特征提取模块,通过自适应机制处理不准确或不完整的语言输入。当语言描述存在偏差时,网络能够动态调整语言特征的权重,避免错误引导导致的恢复失败,从而在缺乏精确语言标注的情况下仍保持鲁棒性。其核心创新在于引入语言模态作为辅助线索,解决单图像反射去除的病态问题,同时设计了容错机制以应对现实场景中语言描述的不可靠性。该方法依赖于语言模型对图像内容的准确描述能力,但在复杂反射场景中显著提升了分离的准确性,为多模态反射去除提供了新范式。
FUMO(Xu et al., 2026, P11)提出先验调制的扩散模型用于单图像反射去除,结合显式引导与专用解码器以增强恢复保真度。该方法利用潜空间扩散模型(LDM)的强大生成先验,通过 ControlNet 等机制注入条件信号,并引入先验调制模块动态调整去噪过程。针对反射层与透射层严重纠缠的问题,FUMO 利用物理先验约束生成过程,确保恢复的透射层符合自然图像统计特性。其核心创新在于将物理先验与扩散模型结合,解决了纯数据驱动方法在弱反射或强眩光场景下的失效问题。该方法依赖于扩散模型的迭代去噪计算成本,但在真实世界反射去除任务中显著提升了鲁棒性,成为该领域的重要基准。
Joint Latent Diffusion(Huang et al., 2026, P19)提出基于联合潜空间扩散的单图像反射分离方法,同时恢复透射层和反射层。该方法利用预训练潜空间扩散模型,通过共享权重和层间自注意力机制,在潜空间中联合优化两个层的表示。通过提示词“Transmission”和“Reflection”引导扩散过程,分别生成两个层的潜码,并利用组合损失确保重建图像与输入的一致性。其核心创新在于将反射分离建模为联合生成问题,而非简单的去除任务,从而保留了反射层的信息,适用于需要同时获取两层内容的场景。该方法依赖于扩散模型的采样效率,但在眩光处理和弱反射分离中表现出优于传统方法的性能,为反射成像提供了更完整的解决方案。
Spectral-Aware Transformer(Guo et al., 2025, P1)提出利用光谱特性进行单图像反射去除的方法,通过光谱先验重建模块增强反射定位能力。该方法利用超光谱重建技术从 RGB 图像恢复光谱签名,构建光谱码本以重构输入反射图像的光谱,并沿空间和波长维度自适应精炼。随后,光谱感知 Transformer(SAFormer)差异学习跨域排序特征,联合去除反射并恢复透射内容。其核心创新在于引入光谱域信息,解决了传统 RGB 方法因数据不足导致的过拟合问题,能够区分高饱和度反射与低饱和度反射。该方法依赖于光谱重建的准确性,但在多样化反射场景中显著提升了模型的泛化能力,为反射去除提供了新的物理线索。
LowAux-RDNet(Li, 2026, P21)提出低通残差监督与场景平衡真实世界训练的单图像反射去除网络,旨在提升模型在真实数据上的泛化能力。该方法设计低通残差监督机制,通过低频分量约束网络输出,抑制高频反射伪影,同时利用场景平衡训练策略缓解合成数据与真实数据之间的域差距。网络架构基于残差学习,专注于恢复透射层细节,同时保持背景结构的完整性。其核心创新在于训练策略的优化,而非单纯的网络结构改进,通过平衡不同场景类型的样本权重,提升了模型在复杂真实环境中的鲁棒性。该方法依赖于真实世界数据的标注质量,但在移动设备摄影等实际应用中显著提升了反射去除的实用性。
Rectifying Latent Space(Li et al., 2025, P4)提出用于生成式单图像反射去除的潜空间校正方法,通过 re-VAE 和可学习任务特定文本嵌入驯服预训练图像编辑 LDM。该方法设计 re-VAE 以忠实表示反射、透射及其混合,并利用深度引导的早期分支采样策略提升极端困难案例的去除精度。通过调整潜空间分布,使预训练模型更适应反射去除任务,同时保持生成质量。其核心创新在于潜空间层面的校正,而非直接在像素空间操作,从而利用了预训练模型强大的语义理解能力。该方法依赖于深度估计的准确性,但在真实 20、SIR2 等基准上显著优于非生成式方法,为反射去除提供了高保真的生成式解决方案。
ReLo-IRR(Wang et al., 2026, P20)提出反射引导的 LoRA 框架用于图像反射去除,通过时间条件化的 LoRA 调制实现输入自适应。该方法利用反射引导的 LoRA 模块,根据输入图像的反射严重程度动态调整去噪过程,早期阶段强化反射抑制,后期阶段精炼结构细节。通过时间条件化策略,解决了固定抑制强度在所有去噪时间步上的次优问题,提升了模型对不同反射条件的鲁棒性。其核心创新在于将 LoRA 微调与时间动态结合,实现了轻量级且高效的模型适配,无需重新训练整个扩散模型。该方法依赖于反射引导信号的准确性,但在多样化反射条件下表现出最先进的性能和泛化能力,为高效反射去除提供了新途径。
ReflexSplit(Lee et al., 2026, P6)提出基于层融合-分离的单图像反射分离方法,通过双分支特征提取和跨尺度门控融合解决层间混淆问题。该方法结合全局语义先验(Swin Transformer)和局部纹理细节(CNN)进行互补表示,利用层融合-分离块(LFSB)在解码层级中交替执行自适应融合和差分分离。通过防止透射-反射特征在深层解码器中的纠缠,确保各层级的清晰区分。其核心创新在于显式的层融合-分离机制,而非简单的端到端映射,从而提升了分离的准确性。该方法依赖于双分支架构的计算开销,但在 LPIPS 等感知指标上显著优于 DSIT 等方法,为反射分离提供了更稳健的架构设计。
反射去除与分离路线与图像阴影去除路线在物理先验的使用上存在互补关系,前者更依赖多模态线索(如语言、深度、光谱)来解决病态问题,而后者更侧重于光照分量的估计与校正。
2.5 环境光照归一化
环境光照归一化(ALN)是比传统阴影去除更广义的任务,处理多光源、复杂几何导致的非均匀光照,要求恢复内在反射率。2026 年的 DINOLight(Oh et al., 2026, P10)提出鲁棒环境光照归一化框架,通过自监督视觉先验集成解决复杂光照下的图像恢复问题。该方法利用 DINOv2 特征作为视觉先验,通过自适应特征融合模块(AFFM)在不同网络层注入光照不变特征,并设计辅助交叉注意力(ACA)模块增强特征交互。针对多光源、复杂几何和多样材质导致的非均匀光照,DINOLight 通过频域和空域辅助交叉注意力,平衡全局光照一致性与局部细节保留。其核心创新在于将自监督预训练模型的语义能力与低层恢复任务结合,解决了传统阴影去除方法在软阴影和模糊边界上的不足。该方法依赖于 DINOv2 特征的泛化能力,但在 Ambient6K 等复杂光照基准上显著提升了恢复质量,为环境光照归一化提供了新范式。
OmniLight(Oh et al., 2026, P13)提出统一所有光照条件的单一模型,旨在解决从简单阴影去除到复杂环境光照归一化(ALN)的泛化问题。该方法基于 U-Net 架构,在瓶颈和解码器中引入权重驱动混合专家(WD-MoE)模块,实现退化感知的特征条件化。通过计算退化感知路由引导向量,动态选择专家网络处理不同光照退化类型,从而在单一模型中统一处理阴影去除、白色光照归一化和彩色光照归一化任务。其核心创新在于 MoE 机制的引入,使得模型能够根据输入图像的光照特性自适应调整恢复策略,避免了多模型切换的复杂性。该方法依赖于路由向量的准确性,但在 NTIRE 2026 挑战赛中取得优异成绩,证明了统一模型在复杂光照恢复中的有效性。
UniBlendNet(Dai et al., 2026, P12)提出统一全局、多尺度和区域自适应建模的环境光照归一化框架,基于 IFBlend 基线进行增强。该方法引入 UniConvNet 全局上下文分支以增强场景级光照建模,插入尺度感知聚合模块(SAAM)提升多尺度特征表示,并设计掩码引导残差精炼机制以选择性增强退化区域。通过频率-空间统一恢复框架,UniBlendNet 在保持良好照明区域的同时,精确恢复阴影区域的细节和色彩。其核心创新在于多尺度与区域自适应的结合,解决了传统方法在全局光照一致性与局部细节保留之间的权衡问题。该方法依赖于掩码估计的准确性,但在复杂光照场景中显著提升了恢复的视觉质量,为 ALN 任务提供了稳健的解决方案。
环境光照归一化路线是图像阴影去除路线的广义扩展,其解决依赖于前序任务中建立的物理先验融合能力,并进一步引入了多光源和非均匀光照的处理机制。
2.6 跨任务与多领域应用
跨任务与多领域应用体现了阴影与反射去除方法在特定场景下的精细化恢复能力。在人脸阴影去除方面,Face Shadow Eraser (FSE)(Luo et al., 2026, P8)针对人脸特定结构设计专用模块,填补了大规模人脸阴影配对数据集缺失下的方法空白。在手术机器人导航领域,UnReflectAnything(Rota et al., 2025, P5)通过渲染合成镜面监督信号,显著提升了内窥镜等复杂光照场景中深度估计和光流计算的准确性。在遥感领域,PDSS-Net(Lu et al., 2026, P14)和 SARU(Bo et al., 2026, P17)分别通过物理引导的阴影合成和统一框架,解决了卫星影像中配对数据稀缺与领域差异问题。在文档处理领域,One-Step Specular Highlight Removal(P24)利用预训练扩散模型的高效采样能力,在文档、人脸等反射表面处理中显著优于传统多阶段方法。这些应用表明,通用方法在特定领域需结合领域特性进行适配,以提升下游任务的实用性。
3. 关键共识、分歧与开放问题
3.1 领域共识
深度学习显著优于传统手工特征方法,尤其在复杂场景下的恢复质量,这一共识在约 30 篇论文中得到共同支持。Transformer 架构因其全局建模能力,在阴影去除中优于纯 CNN,能更好地利用非阴影区域信息,约 15 篇论文共同支持这一观点。物理先验(如光照分解、反射模型)对于提升恢复结果的物理一致性和减少幻觉至关重要,约 12 篇论文共同支持。成对监督数据是性能瓶颈,无监督或弱监督方法是提升实用性的关键方向,约 10 篇论文共同支持。语义和几何引导(如 DINO 特征、深度图)能有效区分阴影与暗色物体,提升边界精度,约 8 篇论文共同支持。扩散模型在生成高质量细节方面表现优异,但计算成本高,需结合条件控制以平衡保真度,约 7 篇论文共同支持。反射去除任务中,单图像输入是病态的,需引入额外线索(多视角、偏振、语言)或强生成先验,约 6 篇论文共同支持。环境光归一化(ALN)是比单一阴影去除更复杂且更具挑战性的前沿任务,需处理多光源和非均匀光照,约 5 篇论文共同支持。
3.2 观点分歧
物理先验的必要性存在弱正则化与显式分解的分歧。弱正则化将物理模型作为损失函数的一部分,保持网络灵活性,如 PhaSR 的 Retinex 分解作为先验;显式分解将图像显式分解为光照和反射分量,严格遵循物理模型,如 Neural Solver of DRM。现有证据偏向显式分解在复杂光照下物理一致性更高,但依赖深度估计准确性;弱正则化在简单场景下更灵活。这一分歧的背后,是生成模型必要性的争论:确定性映射端到端回归,速度快,但易产生模糊结果,如 DeshadowMamba;扩散模型迭代去噪,细节丰富,但速度慢,如 FUMO、DSIT。证据偏向扩散模型在反射分离等病态问题上更优,但在阴影去除中确定性映射结合物理先验已接近 SOTA。计算效率与恢复质量的权衡尚未完全解决,单步蒸馏和 LoRA 适配是潜在解决方案,但效果有待大规模验证。
3.3 其他开放问题
最紧迫的工程问题是计算效率与实时性。Transformer 和扩散模型虽精度高但计算量大,难以部署在移动端或边缘设备,当前研究探索 Mamba、轻量级网络及蒸馏技术。关键困难在于如何在保持全局建模能力的同时降低计算复杂度,研究路径包括 Mamba 状态空间模型、单步蒸馏及 LoRA 轻量级适配。最根本的研究问题是无监督与自监督学习的收敛稳定性。摆脱对成对阴影/无阴影数据或精确掩码的依赖,难点在于缺乏直接监督信号下的恢复质量评估与收敛稳定性,潜在路径包括一致性正则化、对比学习及物理先验引导的自监督框架。此外,多模态与物理先验融合中的特征冲突解决也是重要研究方向,结合深度、法线、语义(如 DINO/CLIP)及光谱信息以解决阴影/反射区域的模糊性,难点在于多模态特征的有效对齐与冲突解决,潜在路径包括几何-语义双引导注意力及物理分解模型。已知—争议—未知认知图谱显示,深度学习优于传统方法、Transformer 优于纯 CNN 是已知共识;物理先验强度、生成模型必要性是争议焦点;无监督学习收敛性、多模态融合理论是未知领域。发展趋势指向统一光照恢复框架与物理场景重建的深度融合。
4. 总结与展望
阴影与反射去除领域的核心矛盾在于数据稀缺/标注困难与复杂场景下的物理一致性需求之间的张力。从 2020 年前后的物理模型与手工特征,到 2023-2024 年的 Transformer 与扩散模型,再到 2025-2026 年的 Mamba 与物理对齐方法,研究路线经历了从局部映射到全局建模、从确定性到生成式、从单一任务到统一光照恢复的演进。核心瓶颈在于如何在缺乏完美配对数据和复杂光照条件下,利用物理先验与数据驱动模型的协同,实现从退化图像到物理一致场景外观的鲁棒恢复。
未来可能突破的方向包括:统一光照恢复框架,将阴影去除、高光去除、反射去除及环境光归一化统一为单一光照恢复任务,难点在于不同光照退化模式的解耦与负迁移抑制,潜在路径包括混合专家(MoE)架构及域感知路由策略,OmniLight(P13)和 UniBlendNet(P12)已初步验证了这一方向的可行性;生成式模型的高效适配,利用扩散模型或基础模型(如 DiT)的强大先验提升恢复质量,难点在于推理速度慢及生成内容可能偏离原始结构,潜在路径包括 LoRA 轻量级适配、单步蒸馏及潜空间物理对齐,ReLo-IRR(P20)和 One-Step Specular Highlight Removal(P24)提供了重要参考。对于进入该领域的研究者,最值得做的一件事是在统一骨干与统一预训练条件下,系统评估物理先验强度(弱正则化 vs. 显式分解)对复杂光照下恢复质量的影响,并引入物理一致性评测指标以填补当前评测体系的空白。
以上为节选,完整内容见ArxivReview