介绍
摘要
识别较不显著的特征是模型压缩的关键。然而，这在革命性的注意力机制中尚未被研究。在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚，从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明，我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
文章链接
论文地址：论文地址
代码地址：代码地址
基本原理
NAM (Normalization-based Attention Module)是一种新颖的注意力机制，旨在通过抑制不太显著的特征来提高模型的效率。NAM模块将权重稀疏惩罚应用于注意力机制中，以提高计算效率同时保持性能。NAM模块通过批量归一化（Batch Normalization）的缩放因子来衡量通道的重要性，避免了SE（Squeeze-and-Excitation）、BAM（Bottleneck Attention Module）和CBAM（Convolutional Block Attention Module）中使用的全连接和卷积层。这使得NAM成为一种高效的注意力机制。
NAM模块结合了通道注意力和空间注意力的子模块，利用批量归一化的缩放因子来衡量通道和像素的重要性，从而实现对特征的有效识别和利用。
- 通道注意力子模块：使用批量归一化的缩放因子来衡量通道的重要性，通过计算权重来获得输出特征。
空间注意力子模块：应用像素归一化来衡量像素的重要性，得到输出特征。
权重稀疏惩罚：NAM模块通过添加正则化项到损失函数中，以抑制不太显著的权重，从而提高模型的泛化能力和效率。
数学公式：
NAM模块的损失函数如下所示：
$$ Loss = ∑(x,y) l(f(x, W), y) + p ∑ g(γ) + p ∑ g(λ) $$
其中：
- x：输入
- y：输出
- W：网络权重
- l(·)：损失函数
- g(·)：l1范数惩罚函数
- p：平衡g(γ)和g(λ)的惩罚参数
通道注意力子模块的输出特征：
$$ M_c = sigmoid(W_γ(BN(F_1))) $$
空间注意力子模块的输出特征（Equation 3）：
$$ M_s = sigmoid(W_λ(BN_s(F_2))) $$
其中：
- M_c：通道注意力子模块的输出特征
- M_s：空间注意力子模块的输出特征
- W_γ：通道注意力子模块的权重
- W_λ：空间注意力子模块的权重
- BN：批量归一化
- F_1、F_2：输入特征
核心代码
import torch.nn as nn
import torch
from torch.nn import functional as F
# 定义通道注意力模块
class Channel_Att(nn.Module):
def __init__(self, channels, t=16):
super(Channel_Att, self).__init__()
self.channels = channels # 输入的通道数
# 定义批量归一化层
self.bn2 = nn.BatchNorm2d(self.channels, affine=True)
def forward(self, x):
residual = x # 保存输入特征图以便后续相乘
x = self.bn2(x) # 对输入特征图进行批量归一化处理
# 获取批量归一化层的权重，并进行绝对值处理和归一化
weight_bn = self.bn2.weight.data.abs() / torch.sum(self.bn2.weight.data.abs())
# 调整特征图的维度顺序，从[N, C, H, W]变为[N, H, W, C]
x = x.permute(0, 2, 3, 1).contiguous()
# 将归一化后的权重与调整维度后的特征图相乘
x = torch.mul(weight_bn, x)
# 再将特征图的维度顺序调整回[N, C, H, W]
x = x.permute(0, 3, 1, 2).contiguous()
# 对特征图进行Sigmoid激活，并与残差相乘
x = torch.sigmoid(x) * residual
return x # 返回处理后的特征图
# 定义注意力模块
class Att(nn.Module):
def __init__(self, channels, shape, out_channels=None, no_spatial=True):
super(Att, self).__init__()
# 实例化通道注意力模块
self.Channel_Att = Channel_Att(channels)
def forward(self, x):
# 将输入特征图通过通道注意力模块
x_out1 = self.Channel_Att(x)
return x_out1 # 返回通道注意力处理后的特征图
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/140083725
