介绍

摘要

识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

NAM (Normalization-based Attention Module)是一种新颖的注意力机制，旨在通过抑制不太显著的特征来提高模型的效率。NAM模块将权重稀疏惩罚应用于注意力机制中，以提高计算效率同时保持性能。NAM模块通过批量归一化（Batch Normalization）的缩放因子来衡量通道的重要性，避免了SE（Squeeze-and-Excitation）、BAM（Bottleneck Attention Module）和CBAM（Convolutional Block Attention Module）中使用的全连接和卷积层。这使得NAM成为一种高效的注意力机制。

NAM模块结合了通道注意力和空间注意力的子模块，利用批量归一化的缩放因子来衡量通道和像素的重要性，从而实现对特征的有效识别和利用。

1. 通道注意力子模块：使用批量归一化的缩放因子来衡量通道的重要性，通过计算权重来获得输出特征。

​

1. 空间注意力子模块：应用像素归一化来衡量像素的重要性，得到输出特征。

   

2. 权重稀疏惩罚：NAM模块通过添加正则化项到损失函数中，以抑制不太显著的权重，从而提高模型的泛化能力和效率。

数学公式：
NAM模块的损失函数如下所示：
$$ Loss = ∑(x,y) l(f(x, W), y) + p ∑ g(γ) + p ∑ g(λ) $$

其中：

• x：输入
• y：输出
• W：网络权重
• l(·)：损失函数
• g(·)：l1范数惩罚函数
• p：平衡g(γ)和g(λ)的惩罚参数

通道注意力子模块的输出特征：
$$ M_c = sigmoid(W_γ(BN(F_1))) $$

空间注意力子模块的输出特征（Equation 3）：
$$ M_s = sigmoid(W_λ(BN_s(F_2))) $$

其中：

• M_c：通道注意力子模块的输出特征
• M_s：空间注意力子模块的输出特征
• W_γ：通道注意力子模块的权重
• W_λ：空间注意力子模块的权重
• BN：批量归一化
• F_1、F_2：输入特征

核心代码

import torch.nn as nn
import torch
from torch.nn import functional as F

# 定义通道注意力模块
class Channel_Att(nn.Module):
    def __init__(self, channels, t=16):
        super(Channel_Att, self).__init__()
        self.channels = channels  # 输入的通道数

        # 定义批量归一化层
        self.bn2 = nn.BatchNorm2d(self.channels, affine=True)

    def forward(self, x):
        residual = x  # 保存输入特征图以便后续相乘

        x = self.bn2(x)  # 对输入特征图进行批量归一化处理

        # 获取批量归一化层的权重，并进行绝对值处理和归一化
        weight_bn = self.bn2.weight.data.abs() / torch.sum(self.bn2.weight.data.abs())

        # 调整特征图的维度顺序，从[N, C, H, W]变为[N, H, W, C]
        x = x.permute(0, 2, 3, 1).contiguous()

        # 将归一化后的权重与调整维度后的特征图相乘
        x = torch.mul(weight_bn, x)

        # 再将特征图的维度顺序调整回[N, C, H, W]
        x = x.permute(0, 3, 1, 2).contiguous()

        # 对特征图进行Sigmoid激活，并与残差相乘
        x = torch.sigmoid(x) * residual

        return x  # 返回处理后的特征图

# 定义注意力模块
class Att(nn.Module):
    def __init__(self, channels, shape, out_channels=None, no_spatial=True):
        super(Att, self).__init__()
        # 实例化通道注意力模块
        self.Channel_Att = Channel_Att(channels)

    def forward(self, x):
        # 将输入特征图通过通道注意力模块
        x_out1 = self.Channel_Att(x)

        return x_out1  # 返回通道注意力处理后的特征图

task与yaml配置

详见：https://blog.csdn.net/shangyanaf/article/details/140083725