一、本文介绍
本文给家大家带来的改进机制是iRMB，其是在论文Rethinking Mobile Block for Efficient Attention-based Models种提出，论文提出了一个新的主干网络EMO(后面我也会教大家如何使用该主干，本文先教大家使用该文中提出的注意力机制)。其主要思想是将轻量级的CNN架构与基于注意力的模型结构相结合(有点类似ACmix)，我将iRMB和C2f结合，然后也将其用在了检测头种进行尝试，三种结果进行对比，针对的作用也不相同，但是无论那种实验均有一定涨点效果，同时该注意力机制属于是比较轻量化的参数量比较小，训练速度也很快，后面我会将各种添加方法教给大家，让大家在自己的模型中进行复现。
推荐指数：⭐⭐⭐⭐⭐
涨点效果：⭐⭐⭐⭐⭐
专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
二、iRMB的框架原理
iRMB（Inverted Residual Mobile Block）的主要思想是将轻量级的CNN架构与基于注意力的模型结构相结合(有点类似ACmix)，以创建高效的移动网络。iRMB通过重新考虑倒置残差块（IRB）和Transformer的有效组件，实现了一种统一的视角，从而扩展了CNN的IRB到基于注意力的模型。iRMB的设计目标是在保持模型轻量级的同时，实现对计算资源的有效利用和高准确率。这一方法通过在下游任务上的广泛实验得到验证，展示出其在轻量级模型领域的优越性能。
iRMB的主要创新点在于以下三点：
1. 结合CNN的轻量级特性和Transformer的动态模型能力，创新提出了iRMB结构，适用于移动设备上的密集预测任务。
2. 使用倒置残差块设计，扩展了传统CNN的IRB到基于注意力的模型，增强了模型处理长距离信息的能力。
3. 提出了元移动块（Meta-Mobile Block），通过不同的扩展比率和高效操作符，实现了模型的模块化设计，使得模型更加灵活和高效。
2.1 iRMB结构
iRMB 结构的主要创新点是它结合了卷积神经网络（CNN）的轻量级特性和 Transformer 模型的动态处理能力。这种结构特别适用于移动设备上的密集预测任务，因为它旨在在计算能力有限的环境中提供高效的性能。iRMB 通过其倒置残差设计改进了信息流的处理，允许在保持模型轻量的同时捕捉和利用长距离依赖，这对于图像分类、对象检测和语义分割等任务至关重要。这种设计使得模型在资源受限的设备上也能高效运行，同时保持或提高预测准确性。
上面的图片来自与论文的图片2展示了iRMB（Inverted Residual Mobile Block）的设计理念和结构。左侧是从多头自注意力和前馈网络中抽象出的统一元移动块（Meta-Mobile Block），它将不同扩展比率和高效操作符结合起来，形成特定的模块。右侧是基于iRMB构建的类似ResNet的高效模型（EMO），它仅由推导出的iRMB组成，并用于各种下游任务，如分类（CLS）、检测（Det）和分割（Seg）。这种设计实现了模型的轻量化，同时保持了良好的性能和效率。
这幅图展示了iRMB（Inverted Residual Mobile Block）的结构范式。iRMB是一种混合网络模块，它结合了深度可分离卷积（3x3 DW-Conv）和自注意力机制。1x1卷积用于通道数的压缩和扩张，以此优化计算效率。深度可分离卷积（DW-Conv）用于捕捉空间特征，而注意力机制则用于捕获特征间的全局依赖关系。
2.2 倒置残差块
在iRMB设计中，使用倒置残差块（IRB）的概念被扩展到了基于注意力的模型中。这使得模型能够更有效地处理长距离信息，这是因为自注意力机制能够捕获输入数据中不同部分之间的全局依赖关系。传统的CNN通常只能捕捉到局部特征，而通过引入注意力机制，iRMB能够在提取特征时考虑到整个输入空间，增强了模型对复杂数据模式的理解能力，特别是在处理视觉和序列数据时。这种结合了传统CNN的轻量化和Transformer的长距离建模能力的设计，为在资源受限的环境中实现高效的深度学习模型提供了新的可能性(文章中并没有关于IRB的结构图)。
2.3 元移动块（Meta-Mobile Block）
元移动块（Meta-Mobile Block），它通过不同的扩展比率和高效操作符实现模块化设计。这种方法使得模型可以根据需要调整其容量，而无需重新设计整个网络。元移动块的核心理念是通过可插拔的方式，将不同的操作如卷积、自注意力等集成到一个统一的框架中，从而提高模型的效率和灵活性。这允许模型在复杂性和计算效率之间进行更好的权衡，特别适用于那些需要在有限资源下运行的应用。
图中展示的是Meta Mobile Block的设计。在这个构件中，1x1的卷积层被用来改变特征图的通道数，从而控制网络的容量。中间的“Efficient Operator”是一个高效的运算符，可以是自注意力机制或其他任何高效的层或操作。这种设计使得Meta Mobile Block能够灵活地适应不同的任务需求，并保持高效的计算性能。通过这样的模块化，网络能够在不同的环境和任务中进行快速调整和优化。
