SE 注意力模块 原理分析与代码实现

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 本文介绍SE注意力模块,它是在SENet中提出的,SENet是ImageNet 2017的冠军模型;SE模块常常被用于CV模型中,能较有效提取模型精度,所以给大家介绍一下它的原理,设计思路,代码实现,如何应用在模型中。

 一、SE 注意力模块

SE 注意力模块,它是一种通道注意力模块;常常被应用与视觉模型中。即插即用,是指通过它能对输入特征图进行通道特征加强,而且最终SE模块输出,不改变输入特征图的大小。

    • 首先解释一下SE的含义,S是指Squeeze,压缩的意思;把输入特征图中的空间信息进行压缩。
    • E是指Excitation,激励的意思;学习到的通道注意力信息,与输入特征图进行结合,最终得到具有通道注意力的特征图。

    下面分析一下,SE是如何实现通道注意力的;首先看一下,模块的结构:

    image.gif编辑

    它主要由两部分组成,压缩、激励;模型的流程思路如下:

      1. 首先输入特征图,它的维度是H*W*C;
      2. 对输入特征图进行空间特征压缩;实现:在空间维度,实现全局平均池化,得到1*1*C的特征图;
      3. 对压缩后的特征图,进行通道特征学习;实现:通过FC全连接层操作学习,得到具有通道注意力的特征图,它的维度还是1*1*C;
      4. 最后将通道注意力的特征图1*1*C、原始输入特征图H*W*C,进行逐通道乘以权重系数,最终输出具有通道注意力的特征图;

      其中,在FC全连接层学习通道注意力信息中,是对每个通道的重要性进行预测,得到不同channel的重要性大小后再作用。

      备注: SE模块的出处论文:https://arxiv.org/abs/1709.01507?utm_source=ld246.com

      注意力机制的实现思路:

        • 通常,对特征图进行通道注意力操作,首先对特征图的空间维度进行压缩,然后学习不同通道的重要性;
        • 对特征图进行空间注意力操作,首先对特征图的通道维度进行压缩,然后学习不同空间部位的重要性;


        二、代码实现

        实现SE模块的代码前,首先看一下,它是的流程结构,这里以resnet为基础实现的:

        image.gif

        基于pytorch版本的代码如下:

        class se_block(nn.Module):
            def __init__(self,channels,ratio=16):
                super(SE, self).__init__()
                # 空间信息进行压缩
                self.avgpool=nn.AdaptiveAvgPool2d(1)
                # 经过两次全连接层,学习不同通道的重要性
                self.fc=nn.Sequential(
                    nn.Linear(channels,channels//ratio,False),
                    nn.ReLU(),
                    nn.Linear(channels//ratio, channels, False),
                    nn.Sigmoid()
                )
            def forward(self,x):
                b,c,_,_ = x.size() #取出batch size和通道数
                # b,c,w,h->b,c,1,1->b,c 压缩与通道信息学习
                avg = self.avgpool(x).view(b,c)
                #b,c->b,c->b,c,1,1 激励操作
                y = self.fc(avg).view(b,c,1,1) 
                return x * y.expand_as(x)

        image.gif


        三、SE应用在模型中

        SE模块常常被用于CV模型中,能较有效提取模型精度;它是即插即用,是指通过它能对输入特征图进行通道特征加强,而且最终SE模块输出,不改变输入特征图的大小。

        应用示例1:

        在主干网络(Backbone)中,加入SE模块,加强通道特征,提高模型性能;

        应用示例2:

        在主干网络(Backbone)末尾,加入SE模型,加强整体的通道特征,提高模型性能;

        应用实例3:

        在多尺度特征分支中,加入SE模块,加强加强通道特征,提高模型性能。

        总体评价:通常,SE模块能提升模型的精度;但速度会下降一点,毕竟它有FC全连接层。

        本文只供大家参考与学习,谢谢~

        后面还会介绍其它注意力模型:SK-Nets、CBAM、DANet、ECA-Net、CA等注意力模块。

        相关实践学习
        【文生图】一键部署Stable Diffusion基于函数计算
        本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
        建立 Serverless 思维
        本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
        相关文章
        |
        6月前
        |
        机器学习/深度学习 自然语言处理 并行计算
        Self-Attention 原理与代码实现
        Self-Attention 原理与代码实现
        301 0
        |
        机器学习/深度学习 算法 算法框架/工具
        Tensorflow源码解析1 -- 内核架构和源码结构
        # 1 主流深度学习框架对比 当今的软件开发基本都是分层化和模块化的,应用层开发会基于框架层。比如开发Linux Driver会基于Linux kernel,开发Android app会基于Android Framework。深度学习也不例外,框架层为上层模型开发提供了强大的多语言接口、稳定的运行时、高效的算子,以及完备的通信层和设备层管理层。因此,各大公司早早的就开始了深度学习框架的研
        6296 0
        |
        1月前
        |
        机器学习/深度学习 人工智能 文字识别
        ultralytics YOLO11 全新发布!(原理介绍+代码详见+结构框图)
        本文详细介绍YOLO11,包括其全新特性、代码实现及结构框图,并提供如何使用NEU-DET数据集进行训练的指南。YOLO11在前代基础上引入了新功能和改进,如C3k2、C2PSA模块和更轻量级的分类检测头,显著提升了模型的性能和灵活性。文中还对比了YOLO11与YOLOv8的区别,并展示了训练过程和结果的可视化
        762 0
        |
        5月前
        |
        测试技术 计算机视觉
        【YOLOv8改进】LSKA(Large Separable Kernel Attention):大核分离卷积注意力模块 (论文笔记+引入代码)
        YOLO目标检测专栏介绍了大可分卷积核注意力模块LSKA,用于解决VAN中大卷积核效率问题。LSKA通过分解2D卷积为1D卷积降低计算复杂度和内存占用,且使模型关注形状而非纹理,提高鲁棒性。在多种任务和数据集上,LSKA表现优于ViTs和ConvNeXt,代码可在GitHub获取。基础原理包括LSKA的卷积核分解设计和计算效率优化。示例展示了LSKA模块的实现。更多详情及配置参见相关链接。
        |
        5月前
        |
        机器学习/深度学习 计算机视觉
        YOLOv5改进 | 卷积模块 | 将Conv替换为轻量化的GSConv【原理 + 完整代码】
        在这个教程中,作者介绍了如何将YOLOv5中的Conv模块替换为新型轻量级卷积GSConv,以实现模型瘦身并保持准确性。GSConv结合了分组卷积和空间卷积,减少了计算量。文章详细阐述了GSConv的原理,并提供了添加GSConv到YOLOv5的代码实现步骤。此外,还提到了Slim-neck by GSConv技术,它通过通道压缩和高效连接优化网络结构。读者可以获取完整代码进行实践,适用于资源受限的环境,如移动设备和实时应用。
        |
        机器学习/深度学习 PyTorch 算法框架/工具
        Dropout的深入理解(基础介绍、模型描述、原理深入、代码实现以及变种)
        Dropout的深入理解(基础介绍、模型描述、原理深入、代码实现以及变种)
        |
        机器学习/深度学习 人工智能 PyTorch
        |
        机器学习/深度学习 数据处理
        【YOLOV5-6.x讲解】数据增强方式介绍+代码实现
        数据增强 学习到空间的不变形,像素级别的不变形特征都有限,利用平移,缩放,旋转,改变色调值等方法,让模型见过各种类型的数据,提高模型在测试数据上的判别力
        1814 0
        |
        数据采集 算法 数据可视化
        MMdetection框架速成系列 第03部分:简述整体构建细节与模块+训练测试模块流程剖析+深入解析代码模块与核心实现
        按照抽象到具体方式,从多个层次进行训练和测试流程深入解析,从最抽象层讲起,到最后核心代码实现,希望帮助大家更容易理解 MMDetection 开源框架整体构建细节
        606 0
        |
        PHP
        tp3.2.3框架多层嵌套if的bug
        tp3.2.3框架多层嵌套if的bug
        139 0
        tp3.2.3框架多层嵌套if的bug