【论文原文】：Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
论文：https://arxiv.org/abs/2203.06967
代码：https://github.com/demonsjin/Blind2Unblind
博主关键词：自监督、图像去噪
推荐相关论文：
无
摘要
大规模真正的噪声清洁对成本高昂且难以获得。同时，在合成数据上训练的监督降噪器在实践中表现不佳。自监督降噪器仅从单个噪声图像中学习，解决了数据收集问题。然而，自监督去噪方法，尤其是盲点驱动的方法，在输入或网络设计过程中会遭受相当大的信息损失。缺乏有价值的信息会大大降低降噪性能的上限。在本文中，我们提出了一种名为Blind2Unblind的简单而有效的方法，以克服盲点驱动的去噪方法中的信息损失。首先，我们介绍了一种全局感知的掩模映射器，它可以实现全局感知并加速训练。掩模映射器对去噪体积上盲点的所有像素进行采样，并将它们映射到同一通道，从而允许损失函数一次优化所有盲点。其次，我们提出了一种重新可见的损失来训练去噪网络并使盲点可见。降噪器可以直接从原始噪声图像中学习，而不会丢失信息或陷入身份映射。我们还从理论上分析了重新可见损失的收敛性。在合成和真实世界数据集上进行的广泛实验表明，与以前的工作相比，我们的方法具有卓越的性能。代码可在 https://github.com/demonsjin/Blind2Unblind 获得。
简介
图像去噪是低级图像处理的一项基本任务，旨在消除噪声并恢复干净的图像。在视觉应用中，去噪质量会显著影响下游任务的性能，例如超分辨率、语义分割和对象检测。此外，降噪器可以显著提高手机和其他设备捕获的图像质量，反映了成像领域的广泛需求。
随着神经网络的发展，基于学习的降噪器最近显示出优于传统方法的性能。然而，受监督的降噪器，例如U-Net，DnCNN，FFDNet，RIDNet，SANet，依赖于许多噪声清洁对，这些对既昂贵又难以收集。一旦处理未知噪声模式，降噪器的性能就会急剧下降。然后，Lehtinen等人建议直接从损坏的图像对中恢复干净的信号。使用损坏的对可以降低数据收集的难度，但对于具有变形和图像质量变化的动态场景来说仍然具有挑战性。
为了减轻上述限制，从单个噪声图像中学习的自监督去噪引起了研究人员的极大兴趣。Ulyanov等人仅从单个噪声图像中学习深层先验。也就是说，每个降级的图像都必须从头开始训练。手动遮罩，例如 Noise2Self 、Noise2Void，可避免为每个图像进行自定义去噪。由于输入上的盲点占据大面积，预测像素的感受野会丢失许多有价值的上下文，从而导致性能不佳。此外，在每次迭代中优化部分像素会导致收敛缓慢。Laine等人设计了一个盲点网络，在四个方向上绑定感受野，而不是手动掩蔽。掩码卷积加速了训练，并增加了除盲点之外的所有区域的感受野。同样，扩张盲点网络在不掩盖输入的情况下在感受野上设置盲点。无论是屏蔽输入还是盲点网络，较低的精度都会限制实际应用。贝叶斯估计用于显式噪声建模作为后处理。但是，噪声建模在具有复杂模式的实际数据上表现不佳。一些作品对噪声较多的噪声对执行降噪，即使额外的噪声会增加信息丢失，并要求额外的噪声具有与原始噪声相同的分布。随后，Pang等人开发了一种具有已知噪声水平的数据增强技术，以解决由于缺乏真实图像而导致的过度拟合。最近，Huang等人建议使用从同一噪声图像中子采样的训练对来训练网络。但是，使用子采样对进行监督会导致过度平滑，因为相邻像素是近似的。在本文中，我们提出了Blind2Unblind，一种克服上述限制的新型自我监督去噪框架。我们的框架包括基于掩模驱动采样的全局感知掩模映射器和基于重新可见损失的无盲点训练策略。具体来说，我们将每个嘈杂图像划分为块，并将每个块中的特定像素设置为盲点，以便我们可以获得全局屏蔽体积作为输入，该体积由一组带有阶次掩码的图像组成。然后，具有全局掩码的卷以同一批次的形式馈送到网络中。全局映射器在盲点对去噪体积进行采样，并将其投影到同一平面上以生成去噪图像。该操作加快了训练速度，实现了全局优化，并允许应用重新可见的损失。然而，遮罩图像会导致大量有价值的信息丢失，严重降低去噪性能的上限。因此，我们考虑从没有遮罩的原始嘈杂图像中学习，并从身份映射中解脱出来。此外，必须引入梯度更新的中间媒介，因为原始噪声图像在训练过程中不能参与反向传播。我们假设遮罩图像作为一种媒介，并提出一种重新可见的损失，以实现从盲点去噪到非盲去噪的过渡。所提出的自监督去噪框架不涉及噪声模型或去除有价值的信息，显示出令人惊讶的性能。此外，先进的模型可以应用于我们提出的方法。我们工作的贡献如下：
- 我们提出了一种新的自监督去噪框架，该框架使盲点可见，没有子样本，噪声模型先验和恒等映射。
- 我们提供了对重新可见损失的理论分析，并提出了其收敛的上限和下限。
- 与最先进的方法相比，我们的方法显示出卓越的性能，尤其是在具有复杂噪声模式的真实数据集上。
图1 我们提出的Blind2Unblind框架概述。(a)整体培训过程。全局掩模器\Omega_{(·)}通过向噪声图像y添加盲点来创建遮罩体积。然后，全局感知掩模映射器对去噪体积进行采样，以获得h(f_{\theta}(\Omega_y))。同时，去噪器f_{\theta}(·)以y为输入，产生去噪结果f_{\theta}(y)。再可见损失以不见项h(f_{\theta}(\Omega_y))为媒介实现了从盲到可见的转变。此外，常规项用于稳定训练阶段。(b)使用训练的去噪模型进行推理。去噪网络直接从噪声图像y中生成去噪图像，无需额外操作。
