一、本文介绍
本文给大家带来的改进机制是HAttention注意力机制，混合注意力变换器（HAT）的设计理念是通过融合通道注意力和自注意力机制来提升单图像超分辨率重建的性能。通道注意力关注于识别哪些通道更重要，而自注意力则关注于图像内部各个位置之间的关系。HAT利用这两种注意力机制，有效地整合了全局的像素信息，从而提供更为精确的结果(这个注意力机制挺复杂的光代码就700+行)，但是效果挺好的也是10月份最新的成果非常适合添加到大家自己的论文中。
推荐指数：⭐⭐⭐⭐⭐(最新的改进机制)
专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新
二、HAttention框架原理
这篇论文提出了一种新的混合注意力变换器（Hybrid Attention Transformer, HAT）用于单图像超分辨率重建。HAT结合了通道注意力和自注意力，以激活更多像素以进行高分辨率重建。此外，作者还提出了一个重叠交叉注意模块来增强跨窗口信息的交互。论文还引入了一种同任务预训练策略，以进一步发掘HAT的潜力。通过广泛的实验，论文展示了所提出模块和预训练策略的有效性，其方法在定量和定性方面显著优于现有的最先进方法。
这篇论文的创新点主要包括：
1. 混合注意力变换器（HAT）的引入：它结合了通道注意力和自注意力机制，以改善单图像超分辨率重建。
2.重叠交叉注意模块：这一模块用于增强跨窗口信息的交互，以进一步提升超分辨率重建的性能。
3.同任务预训练策略：作者提出了一种新的预训练方法，专门针对HAT，以充分利用其潜力。
这些创新点使得所提出的方法在超分辨率重建方面的性能显著优于现有技术。
这个图表展示了所提出的混合注意力变换器（HAT）在不同放大倍数（x2, x3, x4）和不同数据集（Urban100和Manga109）上的性能对比。HAT模型与其他最先进模型，如SwinIR和EDT进行了比较。图表显示，HAT在PSNR（峰值信噪比）度量上，比SwinIR和EDT有显著提升。特别是在Urban100数据集上，HAT的改进幅度介于0.3dB到1.2dB之间。HAT-L是HAT的一个更大的变体，它在所有测试中都表现得非常好，进一步证明了HAT模型的有效性。
这幅图描绘了混合注意力变换器（HAT）的整体架构及其关键组成部分的结构。HAT包括浅层特征提取，深层特征提取，以及图像重建三个主要步骤。在深层特征提取部分，有多个残差混合注意力组（RHAG），每个组内包含多个混合注意力块（HAB）和一个重叠交叉注意块（OCAB）。HAB利用通道注意力块（CAB）和窗口式多头自注意力（W-MSA），在提取特征时考虑了通道之间和空间位置之间的相关性。OCAB进一步增强了不同窗口间特征的交互。最后，经过多个RHAG处理的特征通过图像重建部分，恢复成高分辨率的图像(这个在代码中均有体现，这个注意力机制代码巨长，700多行)。
2.1 混合注意力变换器（HAT）
混合注意力变换器（HAT）的设计理念是通过融合通道注意力和自注意力机制来提升单图像超分辨率重建的性能。通道注意力关注于识别哪些通道更重要，而自注意力则关注于图像内部各个位置之间的关系。HAT利用这两种注意力机制，有效地整合了全局的像素信息，从而提供更为精确的上采样结果。这种结合使得HAT能够更好地重建高频细节，提高重建图像的质量和精度。
这幅图表展示了不同超分辨率网络的局部归因图（LAM）结果，以及对应的性能指标。LAM展示了在重建高分辨率（HR）图像中标记框内区域时，输入的低分辨率（LR）图像中每个像素的重要性。扩散指数（DI）表示参与的像素范围，数值越高表示使用的像素越多。结果表明，HAT（作者的模型）在重建时使用了最多的像素，相比于EDSR、RCAN和SwinIR，HAT显示了最强的像素利用和最高的PSNR/SSIM性能指标。这表明HAT在精细化重建细节方面具有优势。
