传统图像去噪滤波器概述
传统上,研究人员想出了滤波器器来对图像进行降噪。大多数滤波器器特定于图像所具有的噪声类型。有几种类型的噪声,例如高斯噪声,泊松噪声,斑点噪声,椒盐(脉冲)噪声等。每种类型的噪声都有特定的滤波器。因此,使用传统滤波器对图像进行降噪的第一步是识别图像中存在的噪声类型。确定后,我们可以继续应用特定的滤波器器。为了识别噪声的类型,有一些数学公式可以帮助我们猜测噪声的类型。否则,领域专家可以仅通过查看图像来决定。还有一些滤波器可以处理任何类型的噪声。
有大量的滤波器可用于对图像进行降噪。每个人都有其优点和缺点。在这里,我将讨论非局部均值(NLM)算法,该算法被认为可以很好地对图像进行去噪。
NLM的公式,
该算法将像素的估计值计算为图像中所有像素的加权平均值,但是权重族取决于像素i和j之间的相似度。换句话说,它查看一个图像块,然后识别整个图像中的其他相似块,并对它们进行加权平均。要了解这一点,请考虑以下图像,
相似的色块用相同颜色的方框标记。因此,现在,它将相似补丁的像素的加权平均值作为目标像素的估计值。该算法将色块大小和色块距离作为输入。
考虑以下使用NLM滤镜去噪的灰度图像。
您可以看到NLM在图像去噪方面做得不错。如果仔细观察,将会发现去噪图像略有模糊。这是由于应用于任何数据的均值将使值平滑。
但是,当噪声水平太高时,NLM无法提供良好的结果。考虑以下图像,该图像已使用NLM滤波器进行了去噪。
可以清楚地看到,去噪后的图像太模糊了,大部分关键细节都丢失了。例如,观察蓝色卡车的橙色前灯。
用于图像去噪的深度学习模型
随着深度学习技术的出现,现在可以从图像中去除盲目的噪声,这样的结果非常接近于真实图像的细节损失最小。
已经实现了三个深度学习架构,
REDNet、MWCNN、PRIDNet
REDNet -Residual Encoder-Decoder Networks
这是一个基于CNN的跳过连接的自动编码器架构。体系结构如下:
在这里,我用了5层卷积的编码器和5层反卷积的解码器。这是一个非常简单的体系结构,我将其作为基准。
input_0=Input(shape=(256,256,3), name="input_layer") conv_layer_1=Conv2D(filters=256, kernel_size=2, padding='same', name="conv_1")(input_0) conv_layer_2=Conv2D(filters=256, kernel_size=2, padding='same', name="conv_2")(conv_layer_1) conv_layer_3=Conv2D(filters=256, kernel_size=3, padding='same', name="conv_3")(conv_layer_2) conv_layer_4=Conv2D(filters=256, kernel_size=3, padding='same', name="conv_4")(conv_layer_3) conv_layer_5=Conv2D(filters=128, kernel_size=3, padding='same', name="conv_5")(conv_layer_4) deconv_layer_5=Conv2DTranspose(filters=256, kernel_size=2, padding='same', name="deconv_5")(conv_layer_5) deconv_layer_5=Add(name="add_1")([conv_layer_4, deconv_layer_5]) deconv_layer_4=Conv2DTranspose(filters=256, kernel_size=2, padding='same', name="deconv_4")(deconv_layer_5) deconv_layer_3=Conv2DTranspose(filters=256, kernel_size=3, padding='same', name="deconv_3")(deconv_layer_4) deconv_layer_3=Add(name="add_2")([conv_layer_2, deconv_layer_3]) deconv_layer_2=Conv2DTranspose(filters=128, kernel_size=3, padding='same', name="deconv_2")(deconv_layer_3) deconv_layer_1=Conv2DTranspose(filters=3, kernel_size=3, padding='same', name="deconv_1")(deconv_layer_2) out=Add(name="add_3")([input_0, deconv_layer_1]) model=Model(inputs=[input_0], outputs=[out])
如您所见,该体系结构在去噪图像方面效果很好。您绝对可以看到噪点有所减少,并且图像正在尝试针对损坏的像素适应图像的原始颜色。该体系结构的PSNR得分为30.5713,SSIM得分为0.7932。
MWCNN — Multi-level Wavelet CNN
这是基于小波的深度学习架构。它的架构与U-Net架构有着惊人的相似性。MWCNN的唯一区别在于,与U-Net中的下采样和上采样不同,这里我们使用DWT(离散小波变换)和IWT(逆小波变换)。DWT和IWT的工作方式已超出此文章的范围。但是,我在[参考资料部分]附加了一些资源,您可以从中学习这些资源。
在这里,我已将此体系结构扩展到4个级别。因此,我的网络深度变为32。此代码有点长,我在Keras中使用了自定义层。您可以在Github存储库中查看有关MWCNN的完整代码。
我们可以看到,与REDNet相比,该架构的工作方式更好,图像更清晰。该体系结构的PSNR得分为32.5221,SSIM得分为0.8397。