一、本文介绍
本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中，如残差单元中(后面我会把修改好的残差单元给大家大家直接复制粘贴即可使用)。这样可以增强模型对通道间关系的捕获，提升整体的特征表达能力，而不需要从头开始设计一个全新的网络架构。因此，SENet可以看作是对现有网络模型的一种改进和增强(亲测大中小三中目标检测上都有一定程度的涨点效果)。
推荐指数：⭐⭐⭐⭐⭐
涨点效果：⭐⭐⭐⭐⭐
专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新
二、SENetV1框架原理
SENet（Squeeze-and-Excitation Networks）的主要思想在于通过挤压-激励（SE）块强化了网络对通道间依赖性的建模。这一创新的核心在于自适应地重新校准每个通道的特征响应，显著提升了网络对特征的表示能力。SE块的叠加构成了SENet架构，有效提高了模型在不同数据集上的泛化性。SENet的创新点包括其独特的结构设计，它在增加极少计算成本的情况下，为现有CNN模型带来了显著的性能提升，并在国际图像识别竞赛ILSVRC 2017中取得了突破性的成果
上图展示了一个挤压-激励（Squeeze-and-Excitation, SE）块的结构。输入特征图 经过一个变换 后产生特征图 。然后，特征图被压缩成一个全局描述子，这是通过全局平均池化 实现的，产生一个通道描述子。这个描述子经过两个全连接层 ，第一个是降维，第二个是升维，并通过激活函数如ReLU和Sigmoid激活。最后，原始特征图
与学习到的通道权重 相乘，得到重新校准的特征图 。这种结构有助于网络通过学习通道间的依赖性，自适应地强化或抑制某些特征通道。
上面的图片展示了两种神经网络模块的结构图：Inception模块和残差（ResNet）模块。每个模块都有其标准形式和一个修改形式，对比图融入了Squeeze-and-Excitation (SE)块来提升性能。
左面的部分是原始Inception模块（左）和SE-Inception模块（右）。SE-Inception模块通过全局平均池化和两个全连接层（第一个使用ReLU激活函数，第二个使用Sigmoid函数）来生成通道级权重，然后对输入特征图进行缩放。
右面的部分展示了原始残差模块（左）和SE-ResNet模块（右）。SE-ResNet模块在传统的残差连接之后添加了SE块，同样使用全局平均池化和全连接层来获得通道级权重，并对残差模块的输出进行缩放。
这两个修改版模块都旨在增强网络对特征的重要性评估能力，从而提升整体模型的性能。
