一、本文介绍
本文记录的是利用ExtraDW优化RT-DETR中的RepNCSPELAN4，详细说明了优化原因，注意事项等。ExtraDW是MobileNetv4模型中提出的新模块，允许以低成本增加网络深度和感受野，具有ConvNext和IB的组合优势。可以在提高模型精度的同时降低一定量的模型参数。
专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！
二、UIB介绍
Universal Inverted Bottleneck（UIB）通用反向瓶颈结构。
2.1 UIB结构设计
基于
MobileNetV4UIB建立在MobileNetV4之上，即采用深度可分离卷积和逐点扩展及投影的反向瓶颈结构。- 在
反向瓶颈块（IB）中引入两个==可选的==深度可分离卷积，一个在扩展层之前，另一个在扩展层和投影层之间。
UIB有四种可能的实例化形式：
- Inverted Bottleneck (IB)：对扩展后的特征激活进行空间混合，以增加成本为代价提供更大的模型容量。
- ConvNext：通过在扩展之前进行空间混合，使用更大的核尺寸实现更便宜的空间混合。
- ExtraDW：文中引入的新变体，允许以低成本增加网络深度和感受野，具有
ConvNext和IB的组合优势。 - FFN：由两个
1x1逐点卷积（PW）组成的栈，中间有激活和归一化层。
2.2 ExtraDW结构组成
结构组成：
- 在
IB块中加入两个可选的深度可分离卷积，==一个在扩展层之前，另一个在扩展层和投影层之间。==
2.3 ExtraDW特点
灵活性：
- 在每个网络阶段，可以灵活地进行空间和通道混合的权衡调整，根据需要扩大感受野，并最大化计算利用率，增强模型对输入特征的感知能力。
效率提升：
- 提供了一种廉价增加网络深度和感受野的方式。相比其他结构，它在增加网络深度和感受野的同时，不会带来过高的计算成本。
- 在论文中，与其他注意力机制结合时，能有效提高模型的运算强度，减少内存访问需求，从而提高模型效率。
论文：http://arxiv.org/abs/2404.10518
源码：https://github.com/tensorflow/models/blob/master/official/vision/modeling/backbones/mobilenet.py
三、实现代码及RT-DETR修改步骤
模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址：
