CVPR 2021 | 性能炸裂!MPRNet:多阶段渐进式图像恢复

简介: 在本文中,我们提出了一种新颖的协同设计,可以最佳地平衡这些相互竞争的目标。我们的主要建议是一个多阶段体系结构,该体系结构逐步学习降级输入的恢复特征,从而将整个恢复过程分解为更易于管理的步骤。

太强了!在图像去雨、去模糊、去噪等任务上拿下多项SOTA!性能优于MSPFN、PreNet等网络,代码于5个小时前开源!


640.png


看看MPRNet在各大数据集刷榜的存在!


640.png


640.png

作者单位:IIAI, MBZUAI, 谷歌等

代码:https://github.com/swz30/MPRNet

论文:https://arxiv.org/pdf/2102.02808.pdf


图像恢复任务要求在恢复图像时在空间细节和高级上下文信息之间达成复杂的平衡。


在本文中,我们提出了一种新颖的协同设计,可以最佳地平衡这些相互竞争的目标。我们的主要建议是一个多阶段体系结构,该体系结构逐步学习降级输入的恢复特征,从而将整个恢复过程分解为更易于管理的步骤。


具体来说,我们的模型首先使用编码器-解码器体系结构学习上下文相关的特征,然后将它们与保留局部信息的高分辨率分支相结合。


640.png


图3:(a)编码器-解码器子网。(b)图示我们的ORSNet子网中的原始分辨率块(ORB),每个ORB包含多个通道注意块,GAP代表全球平均池[47]。(c)阶段1和阶段2之间的跨阶段特征融合。(d)阶段2和最后阶段之间的CSFF


在每个阶段,我们都会介绍一种新颖的每像素自适应设计,该设计利用in-situ监督的注意力来重新加权局部特征。这种多阶段体系结构的关键要素是不同阶段之间的信息交换。


640.png

图4:监督注意模型


为此,我们提出了一种两方面的方法,即不仅从早期到后期顺序交换信息,而且在特征处理模块之间也存在横向连接,以避免信息丢失。由此产生的紧密互连的多级体系结构称为MPRNet,可在包括图像去雨,去模糊和去噪在内的一系列任务的十个数据集上获得强劲的性能提升。


640.png


图2:提议的渐进式图像恢复的多阶段体系结构。较早的阶段使用编码器/解码器来提取多尺度上下文相关的特征,而最后阶段则以原始图像分辨率运行以生成空间精确的输出。在每两个阶段之间添加一个监督注意力模块,该模块学习在将一个阶段的特征传递到下一阶段之前对其进行细化。虚线的粉红色箭头表示跨阶段特征融合机制。


主要贡献


这项工作的主要贡献是:


  • 一种新颖的多阶段方法,能够生成内容丰富且空间精确的输出。由于其多阶段的性质,我们的框架将具有挑战性的图像还原任务分解为子任务,以逐步还原退化的图像。


  • 一个有效的监督注意力模块,该模块在进一步传播传入特征之前,会在每个阶段充分利用还原的图像来完善传入特征。


  • 跨阶段聚合多尺度特征的策略。


  • 我们通过在十个合成的和真实的数据集上设置最先进的最新数据集来证明MPRNet的有效性,这些数据集可用于各种恢复任务,包括图像去油,去模糊和去噪,同时保持较低的复杂度(见图1)。此外,我们提供了详细的烧蚀,定性结果和泛化测试。


Quick Run


要在您自己的图像上测试去模糊、去油、去噪的预训练模型,请运行


python demo.py --task Task_Name --input_dir path_to_images --result_dir save_images_here


这是执行去模糊的示例:


python demo.py --task Deblurring --input_dir ./samples/input/ --result_dir ./samples/output/


实验结果


例如,与最新技术相比,在Rain100L,GoPro和DND数据集上,我们分别获得4 dB,0.81 dB和0.21 dB的PSNR增益。


去雨的性能结果


640.png

640.png


去模糊的性能结果

640.png


表3:去模糊结果。我们的方法仅在GoPro数据集[51]上训练,并直接应用于HIDE数据集[67]。


640.png


表4:在两种不同的设置下对RealBlur数据集进行去模糊比较:1) 将我们经过GoPro训练的模型直接应用于RealBlur集(以评估对真实图像的泛化),2) 对RealBlur数据的培训和测试,其中方法用符号‡表示。其他评估方法的PSNR / SSIM分数取自RealBlur基准测试[62]。


640.png


去噪的性能结果


640.png


表5:不在SIDD [1]和DND [58]数据集上进行去噪比较。∗表示使用其他训练数据的方法。而我们的MPRNet仅在SIDD图像上进行训练,而在DND上直接进行测试。


640.png


图7:图像降噪比较。第一个示例来自DND [58],其他示例来自SIDD [1]。提出的MPRNet可以更好地保留去噪图像中的精细纹理和结构图案.

相关文章
|
机器学习/深度学习 人工智能 自然语言处理
视觉 注意力机制——通道注意力、空间注意力、自注意力
本文介绍注意力机制的概念和基本原理,并站在计算机视觉CV角度,进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。
11432 57
|
机器学习/深度学习
YOLOv5改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
YOLOv5改进 | 2023注意力篇 | MLCA混合局部通道注意力(轻量化注意力机制)
754 0
|
10月前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些?
制定统一的物联网技术标准和规范的难点有哪些?
360 58
|
机器学习/深度学习 计算机视觉
【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析1
【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析
336 1
|
机器学习/深度学习 编解码 PyTorch
CVPR 2023 | 主干网络FasterNet 核心解读 代码分析
本文分享来自CVPR 2023的论文,提出了一种快速的主干网络,名为FasterNet。核心算子是PConv,partial convolution,部分卷积,通过减少冗余计算和内存访问来更有效地提取空间特征。
9593 58
|
11月前
|
机器学习/深度学习 人工智能 文字识别
ultralytics YOLO11 全新发布!(原理介绍+代码详见+结构框图)
本文详细介绍YOLO11,包括其全新特性、代码实现及结构框图,并提供如何使用NEU-DET数据集进行训练的指南。YOLO11在前代基础上引入了新功能和改进,如C3k2、C2PSA模块和更轻量级的分类检测头,显著提升了模型的性能和灵活性。文中还对比了YOLO11与YOLOv8的区别,并展示了训练过程和结果的可视化
16806 0
|
机器学习/深度学习 编解码
【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析2
【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析
579 2
|
机器学习/深度学习 人工智能 算法
【人工智能】传统语音识别算法概述,应用场景,项目实践及案例分析,附带代码示例
传统语音识别算法是将语音信号转化为文本形式的技术,它主要基于模式识别理论和数学统计学方法。以下是传统语音识别算法的基本概述
565 2
|
机器学习/深度学习 人工智能 自然语言处理
深度学习知识点全面总结
深度学习知识点全面总结
293 3
|
存储 算法 Cloud Native
C++ bcrypt算法 字符串加密,亲测有效
C++ bcrypt算法 字符串加密,亲测有效