一、本文介绍

本文记录的是基于GhostNet v1的RT-DETR网络模型轻量化方法研究。GhostNet中的Ghost模块和Ghost瓶颈结构是其轻量化的关键。Ghost模块克服了传统卷积层计算资源需求大的问题,Ghost瓶颈则合理设计了通道数量的变化以及与捷径连接的方式，能更好地在减少计算成本的同时保持较高性能，从而提升模型在移动设备上的应用能力和效率。

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

二、GhostNet V1模型轻量化设计

GhostNet: More Features from Cheap Operations

2.1 出发点

• 减少计算资源需求：传统的深度卷积神经网络在实现高准确率时通常需要大量的参数和浮点运算（FLOPs），例如ResNet - 50有大约2560万个参数，处理一张224×224大小的图像需要41亿FLOPs。这使得在移动设备（如智能手机和自动驾驶汽车）上部署变得困难，因此需要探索更轻便、高效且性能可接受的网络架构。
• 利用特征图冗余：观察到在经过良好训练的深度神经网络的特征图中存在大量甚至冗余的信息，例如ResNet - 50生成的输入图像的特征图中存在许多相似的特征图对。这些冗余信息可以作为一种资源来利用，以更高效的方式生成更多特征。

2.2 原理

2.2.1 卷积层

在常规的卷积层操作中，对于输入数据$X \in \mathbb{R}^{c×h×w}$（其中$c$是输入通道数，$h$和$w$分别是输入数据的高度和宽度），产生$n$个特征图的任意卷积层操作可以表示为$Y = X f + b$。其中$$是卷积操作，$b$是偏置项，$Y \in \mathbb{R}^{h'×w'×n}$是输出特征图，$f \in \mathbb{R}^{c×k×k×n}$是该层的卷积滤波器，$h'$和$w'$是输出数据的高度和宽度，$k×k$是卷积滤波器$f$的核大小。在这个卷积过程中，所需的FLOPs数量为$n \cdot h' \cdot w' \cdot c \cdot k \cdot k$，由于滤波器数量$n$和通道数$c$通常很大，这个值往往非常大。

2.2.2 Ghost模块

• 生成内在特征图：将深度神经网络中的普通卷积层分为两部分。首先通过普通卷积生成m个内在特征图$Y' \in \mathbb{R}^{h'×w'×m}$，其计算公式为$Y' = X * f'$，其中$X$是输入数据，$f'$是卷积滤波器，这里的卷积操作的超参数（如滤波器大小、步长、填充等）与普通卷积层保持一致，以保证输出特征图的空间尺寸不变。
• 生成Ghost特征图：基于这些内在特征图，通过一系列简单的线性操作$\Phi{i, j}$生成Ghost特征图。对于每个内在特征图$y{i}'$，可以生成s个Ghost特征图$y{ij}$，其计算公式为$y{ij} = \Phi{i, j}(y{i}')$，其中$i = 1, \cdots, m$，$j = 1, \cdots, s$。最后一个线性操作$\Phi_{i, s}$为恒等映射，用于保留内在特征图。通过这种方式，可以得到$n = m \cdot s$个特征图作为Ghost模块的输出。

2.2.3 复杂度分析

• 理论加速比：假设存在1个恒等映射和$m \cdot (s - 1)$个线性操作，每个线性操作的平均核大小为$d×d$，理想情况下，这些线性操作可以有不同的形状和参数，但考虑到实际的在线推理效率，通常建议在一个Ghost模块中采用相同大小的线性操作（如3×3或5×5）。理论上，使用Ghost模块升级普通卷积的加速比$r{s}$约为$s$，压缩比$r{c}$也约为$s$。

2.3 结构

2.3.1 Ghost瓶颈（Ghost Bottlenecks）

• 组成结构：主要由两个堆叠的Ghost模块组成。第一个Ghost模块作为扩展层，增加通道数量，其输出通道数与输入通道数的比值称为扩展比；第二个Ghost模块减少通道数量以匹配捷径路径。捷径连接在这两个Ghost模块的输入和输出之间，并且在每个层之后应用批量归一化（BN）和ReLU非线性激活函数，但根据MobileNetV2的建议，第二个Ghost模块之后不使用ReLU。
  • 不同步长的结构差异：对于$stride = 1$的情况，结构如上述描述；对于$stride = 2$的情况，捷径路径通过一个下采样层实现，并且在两个Ghost模块之间插入一个步长为2的深度卷积层。在实际应用中，Ghost模块中的主要卷积采用逐点卷积以提高效率。

2.3.2 GhostNet整体结构

• 基本构建块：以Ghost瓶颈作为基本构建块，由一系列Ghost瓶颈组成。第一层是一个具有16个滤波器的标准卷积层，然后是一系列通道逐渐增加的Ghost瓶颈。这些Ghost瓶颈根据输入特征图的大小分组为不同的阶段，除了每个阶段的最后一个Ghost瓶颈采用$stride = 2$外，其他均采用$stride = 1$。
• 分类相关层：最后使用全局平均池化和一个卷积层将特征图转换为1280维的特征向量用于最终分类。在一些Ghost瓶颈的残差层中还应用了挤压和激励（SE）模块。

2.4 优势

• 计算成本降低：Ghost模块能够在生成相同数量特征图的情况下，减少所需的参数数量和计算复杂度。例如，在CIFAR - 10数据集上对VGG - 16和ResNet - 56进行实验时，替换为Ghost模块后的模型（Ghost - VGG - 16和Ghost - ResNet - 56）在保持较高准确率的同时，FLOPs显著降低。在ImageNet数据集上对ResNet - 50进行实验时，Ghost - ResNet - 50（$s = 2$）在保持准确率的情况下，获得了约2倍的加速和压缩比。
• 性能优越
  • 图像分类任务：在ImageNet分类任务中，与MobileNet系列、ShuffleNet系列、ProxylessNAS、FBNet、MnasNet等现代小网络架构相比，GhostNet在不同计算复杂度水平下均表现出更优的性能。例如，GhostNet在与MobileNetV3具有相似计算成本的情况下，能够获得更高的准确率（如GhostNet - 1.3x的top - 1准确率为75.7%，而MobileNetV3 Large 1.0x的top - 1准确率为75.2%），并且在实际推理速度上也具有优势，在相同延迟下，GhostNet的top - 1准确率比MobileNetV3高约0.5%。
  • 对象检测任务：在MS COCO数据集上进行对象检测实验时，将GhostNet作为骨干特征提取器替换到Faster R - CNN和RetinaNet框架中，在显著降低计算成本的情况下，GhostNet取得了与MobileNetV2和MobileNetV3相似的平均精度（mAP）。

论文：https://arxiv.org/pdf/1911.11907.pdf
源码：https://github.com/huawei-noah/Efficient-AI-Backbones

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址：

https://blog.csdn.net/qq_42591591/article/details/144212831