一、SE 注意力模块
SE 注意力模块,它是一种通道注意力模块;常常被应用与视觉模型中。即插即用,是指通过它能对输入特征图进行通道特征加强,而且最终SE模块输出,不改变输入特征图的大小。
- 首先解释一下SE的含义,S是指Squeeze,压缩的意思;把输入特征图中的空间信息进行压缩。
- E是指Excitation,激励的意思;学习到的通道注意力信息,与输入特征图进行结合,最终得到具有通道注意力的特征图。
下面分析一下,SE是如何实现通道注意力的;首先看一下,模块的结构:
编辑
它主要由两部分组成,压缩、激励;模型的流程思路如下:
- 首先输入特征图,它的维度是H*W*C;
- 对输入特征图进行空间特征压缩;实现:在空间维度,实现全局平均池化,得到1*1*C的特征图;
- 对压缩后的特征图,进行通道特征学习;实现:通过FC全连接层操作学习,得到具有通道注意力的特征图,它的维度还是1*1*C;
- 最后将通道注意力的特征图1*1*C、原始输入特征图H*W*C,进行逐通道乘以权重系数,最终输出具有通道注意力的特征图;
其中,在FC全连接层学习通道注意力信息中,是对每个通道的重要性进行预测,得到不同channel的重要性大小后再作用。
备注: SE模块的出处论文:https://arxiv.org/abs/1709.01507?utm_source=ld246.com
注意力机制的实现思路:
- 通常,对特征图进行通道注意力操作,首先对特征图的空间维度进行压缩,然后学习不同通道的重要性;
- 对特征图进行空间注意力操作,首先对特征图的通道维度进行压缩,然后学习不同空间部位的重要性;
二、代码实现
实现SE模块的代码前,首先看一下,它是的流程结构,这里以resnet为基础实现的:
基于pytorch版本的代码如下:
class se_block(nn.Module): def __init__(self,channels,ratio=16): super(SE, self).__init__() # 空间信息进行压缩 self.avgpool=nn.AdaptiveAvgPool2d(1) # 经过两次全连接层,学习不同通道的重要性 self.fc=nn.Sequential( nn.Linear(channels,channels//ratio,False), nn.ReLU(), nn.Linear(channels//ratio, channels, False), nn.Sigmoid() ) def forward(self,x): b,c,_,_ = x.size() #取出batch size和通道数 # b,c,w,h->b,c,1,1->b,c 压缩与通道信息学习 avg = self.avgpool(x).view(b,c) #b,c->b,c->b,c,1,1 激励操作 y = self.fc(avg).view(b,c,1,1) return x * y.expand_as(x)
三、SE应用在模型中
SE模块常常被用于CV模型中,能较有效提取模型精度;它是即插即用,是指通过它能对输入特征图进行通道特征加强,而且最终SE模块输出,不改变输入特征图的大小。
应用示例1:
在主干网络(Backbone)中,加入SE模块,加强通道特征,提高模型性能;
应用示例2:
在主干网络(Backbone)末尾,加入SE模型,加强整体的通道特征,提高模型性能;
应用实例3:
在多尺度特征分支中,加入SE模块,加强加强通道特征,提高模型性能。
总体评价:通常,SE模块能提升模型的精度;但速度会下降一点,毕竟它有FC全连接层。
本文只供大家参考与学习,谢谢~
后面还会介绍其它注意力模型:SK-Nets、CBAM、DANet、ECA-Net、CA等注意力模块。