一、Ghost Net介绍
🌳论文地址：点击
🌳源码地址：点击
🌳论文摘要：GhostNet是一种轻量级的深度学习模型，通过GhostModule和GhostBottleNeck实现高效特征提取。GhostModule通过1x1卷积和深度可分离卷积生成更多特征图，减少参数量。GhostBottleNeck则是GhostModule的瓶颈结构，用于构建网络深度。GhostNet适用于资源有限的场景，如移动设备上的图像分类任务。
🌳主要思想：（1）对卷积进行改进（2）加残差连接
🌳解决方法：
- Ghost模块通过减少卷积核的数量来降低参数数量和计算量。例如，如果输出特征图的数量是原始卷积的两倍，那么Ghost模块会先通过普通卷积生成一半数量的特征图，然后通过深度可分离卷积生成另一半特征图，这样总体的参数数量和计算量就减少了。尽管GhostNet减少了参数和计算量，但它仍然能够提供与原始网络相当或更好的性能
🌳工作原理：
GhostNet的核心是Ghost模块，它通过廉价操作生成更多的特征图。在标准的卷积操作中，输出特征图是通过输入特征图与卷积核的卷积得到的。Ghost模块首先使用普通卷积生成一部分特征图（称为intrinsic特征图），然后通过深度可分离卷积（depthwise convolution）等廉价操作生成额外的特征图（称为ghost特征图）。最后，将这两部分特征图拼接起来，形成最终的输出特征图。
在后续的版本GhostNetV2中，引入了一种新的注意力机制，称为DFC（Decoupled Fully Connected）注意力，它通过全连接层捕捉长距离像素之间的依赖关系，进一步提高了网络的性能。
🌳网络结构和相关图：
可以很明显地看到很多特征图存在着非常类似的特征，只不过是颜色的深浅的区别，为了减少计算的复杂度，很自然地就会去想是不是可以去除这些过于类似的冗余特征图。然而，作者在文中指出冗余的特征图对于模型的精度还是起着很重要的作用的，因此不能简单地减少特征图的生成数量来实现高效计算。
GhostModule，将普通的卷积分为了两步，先生成主要的特征图，再由主要的特征图做简单的卷积变换生成幻象特征图，这样可以大大减少计算的开销。
Ghost Bottlenecks是由Ghost Module组成的瓶颈结构，其实本质上就是用Ghost Module，来代替瓶颈结构里面的普通卷积。
Ghost Bottlenecks有两个种类（输入进来的步长为1选第一种，输入进来的步长为2选第二种），如下图所示。先来看第一个Ghost Bottleneck，可以分为两个部分，分别是主干部分和残差边部分。在主干部分，使用两个ghost模块对输入的特征层进行特征提取；在残差边部分，什么都不处理，直接将输入和输出进行逐元素求和。这样，第一个瓶颈结构就构建完成了，由于它的步长为1，所以不会对输入进来的特征图进行高和宽的压缩，它的功能是加深网络的深度。
当我们需要对特征层的宽高进行压缩的时候，需要设置第二个Ghost Bottlenecks，即在Bottlenecks里添加一些卷积层。在主干部分里，首先用ghost module进行特征提取，提取完成后使用一个步长为2的深度可分离卷积对输入特征层进行高和宽的压缩，然后再用一个ghost模块进行特征提取。在残差边部分，也会添加上一个步长为2的深度可分离卷积和1x1的普通卷积，然后将输入和输出进行相加。第二个瓶颈结构的步长为2，它的功能就是改变输入特征层的宽高。
二、C2f和C2f_Ghost复杂度对比
YOLOv10默认使用C2f模块
YOLOv10-C2f_Ghost：针对主干网络部分的C2f替换成C2f_Ghost模块
YOLOv10s summary: 402 layers, 8074092 parameters, 8074076 gradients, 24.8 GFLOPs
YOLOv10s-C2f_Ghost summary: 468 layers, 7346756 parameters, 7346740 gradients, 20.3 GFLOPs
三、核心代码修改
3.1 修改yaml配置文件
复制一份ultralytics\cfg\models\v8\yolov10.yaml下的yolov8.yaml文件到v8根目录文件my_code/yolov10/my_files/yamls
在YOLOv10根目录创建一个my_files/yamls的文件夹，将yolov10/ultralytics/cfg/models/v10/yolov10s.yaml复制一份到yolov10/my_code/yolov10/my_files/yamls/yolov10s.yaml，然后yolov10/my_code/yolov10/my_files/yamls/yolov10s.yaml复制一份为yolov10/my_code/yolov10/my_files/yamls/yolov10s-C2f_Ghost.yaml。
下面是yolov10s-C2f_Ghost.yaml配置文件
配置文件，可通过关注公众号【AI应用视界】（或者扫描最下面的二维码关注）
输入关键字 yolov10+c2f_ghost自动获取
3.2 创建模块文件
ultralytics\nn\modules，在此路径下新建专门存放我们新添加的模块文件夹my_file（好区分），然后在此文件夹下新建ghost.py，添加以下内容：
核心模块文件，可通过关注公众号【AI应用视界】（或者扫描最下面的二维码关注）
输入关键字 yolov10+c2f_ghost自动获取
3.3 修改task.py文件
在ultralytics\nn文件夹中找到tasks.py文件，并对以下内容（#todo）进行添加。
- 第一步，导入C2f_Ghost
- 第二步，在parse_model函数中加入下面虚线中的代码
###############################################第一步
from ultralytics.nn.modules import C2f_Ghost # 导入C2f_Ghost 模块
#################################################
###############################################第二步
elif m is AIFI:
args = [ch[f], *args]
#---------------------------------------------------add
elif m in [C2f_Ghost]:
c1, c2 = ch[f], args[0]
if c2 != nc: # if not output
c2 = make_divisible(min(c2, max_channels) * width, 8)
args = [c1, c2, *args[1:]]
if m in [C2f_Ghost]:
args.insert(2, n) # number of repeats
n = 1
#---------------------------------------------------add
elif m in {HGStem, HGBlock}:
c1, cm, c2 = ch[f], args[0], args[1]
args = [c1, cm, c2, *args[2:]]
if m is HGBlock:
args.insert(4, n) # number of repeats
n = 1
#################################################
3.5 修改__init__.py文件
ultralytics\nn\modules_init_.py，首先在ultralytics\nn\modules新建my_file文件夹，在此文件夹下创建ghost.py，并添加导入此模块，以及在__all__中写入此模块名。
...................
from .my_file.ghost import C2f_Ghost # add
__all__ = (
"Conv",
"Conv2",
#-----------------
"C2f_Ghost",
#-----------------
"LightConv",
3.6 修改训练代码
from ultralytics import YOLOv10
import os
os.environ["GIT_PYTHON_REFRESH"] = "quiet"
os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
if __name__ == '__main__':
model = YOLOv10('my_files/yamls/yolov10s.yaml')
result = model.train(data="data/data.yaml", epochs=100, workers=1, batch=1, imgsz=416, amp=False, device="cpu")
################################################################################### 恢复训练代码，注释掉上面的部分
# model = YOLOv10("runs/det/train/weights/best.pt") # 指定想要恢复训练的pt文件
# if __name__ == '__main__':
# model.train(data="data/data.yaml", resume=True, imgsz=416, batch=16, workers=4, epochs=100, amp=False, project="runs/det") # 恢复训练模型
运行此代码即可将C2f_Ghost结合YOLOv10进行训练
四、问题总结
- ModuleNotFoundError: No module named ‘timm’：
- pip install timm -i https://pypi.tuna.tsinghua.edu.cn/simple/（高环境问题可以安装pip install timm==0.6.13）
- ModuleNotFoundError: No module named ‘einops’
- pip install einops -i https://pypi.tuna.tsinghua.edu.cn/simple
- ModuleNotFoundError: No module named ‘hub_sdk’：
- pip install hub_sdk -i https://pypi.tuna.tsinghua.edu.cn/simple/
- ModuleNotFoundError: No module named ‘mmcv’
- pip install -U openmim -i https://pypi.tuna.tsinghua.edu.cn/simple/
- mim install mmcv
微信公众号搜索方式：1.AI应用视界；2.可根据CSDN下方名片进行搜索
