YOLOv5改进 | 卷积模块 | 用ShuffleNetV2卷积替换Conv【轻量化网络】

简介: 本文介绍了如何在YOLOv5中用ShuffleNetV2替换卷积以减少计算量。ShuffleNetV2是一个轻量级网络,采用深度可分离卷积、通道重组和多尺度特征融合技术。文中提供了一个逐步教程,包括ShuffleNetV2模块的代码实现和在YOLOv5配置文件中的添加方法。此外,还分享了完整的代码链接和GFLOPs的比较,显示了GFLOPs的显著减少。该教程适合初学者实践,以提升深度学习目标检测技能。


💡💡💡本专栏所有程序均经过测试,可成功执行💡💡💡

在YOLOv5的GFLOPs计算量中,卷积占了其中大多数的比列,为了减少计算量,研究人员提出了用ShuffleNetV2代替Conv。本文给大家带来的教程是将原来的Conv替换为ShuffleNetV2。文章在介绍主要的原理后,将手把手教学如何进行模块的代码添加和修改,并将修改后的完整代码放在文章的最后,方便大家一键运行,小白也可轻松上手实践。以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址:YOLOv5改进+入门——持续更新各种有效涨点方法

1.原理


​​​​​​image.png

关于ShuffleNetV1的原理查看:ShuffleNetV1点击即可跳转

ShuffleNetV2是一种用于图像分类和目标检测任务的神经网络架构,它是对ShuffleNet的改进版本。ShuffleNetV2旨在提高模型的性能和效率,同时保持低延迟和低计算成本。

下面是对ShuffleNetV2的一些关键点的解释:

  1. 轻量级设计:ShuffleNetV2专注于轻量级设计,旨在在保持模型准确性的同时降低计算成本和内存占用。这使得ShuffleNetV2成为在资源受限环境下进行图像处理任务的理想选择,比如移动设备或边缘设备。

  2. 深度可分离卷积:ShuffleNetV2使用了深度可分离卷积(Depthwise Separable Convolution),这种卷积操作将通道间的相关性和空间特征分开处理,从而降低了参数数量和计算量。这一特性使得模型更加轻量化。

  3. 通道重组(Channel Shuffle):ShuffleNetV2通过通道重组技术,将特征图的通道重新排列,以促进信息交流和特征融合,同时减少了参数量和计算复杂度。这对于提高模型性能和减少内存占用都起到了积极作用。

  4. 基础单元:ShuffleNetV2的基础单元是一种特殊的模块,结合了深度可分离卷积、通道重组和残差连接等技术。这些基础单元可以有效地在网络中传递信息,并保持特征的丰富性。

  5. 多尺度特征融合:ShuffleNetV2在设计上考虑了多尺度特征融合的需求,以提高模型对不同尺度下物体的检测和识别能力。这通过在网络中引入多个分支或模块来实现。

总的来说,ShuffleNetV2是一种轻量级而高效的神经网络架构,适用于在计算资源有限的环境下进行图像分类和目标检测任务。它通过深度可分离卷积、通道重组和多尺度特征融合等技术,实现了在保持模型性能的同时减少计算成本和内存占用的目标。

2.代码实现

2.1 将ShuffleNetV2添加到YOLOv5中

class ShuffleNetV2_InvertedResidual(nn.Module):
    def __init__(self, inp, oup, stride):  # ch_in, ch_out, stride
        super().__init__()

        self.stride = stride

        branch_features = oup // 2
        assert (self.stride != 1) or (inp == branch_features << 1)

        if self.stride == 2:
            # copy input
            self.branch1 = nn.Sequential(
                nn.Conv2d(inp, inp, kernel_size=3, stride=self.stride, padding=1, groups=inp),
                nn.BatchNorm2d(inp),
                nn.Conv2d(inp, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
                nn.BatchNorm2d(branch_features),
                nn.ReLU(inplace=True))
        else:
            self.branch1 = nn.Sequential()

        self.branch2 = nn.Sequential(
            nn.Conv2d(inp if (self.stride == 2) else branch_features, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
            nn.BatchNorm2d(branch_features),
            nn.ReLU(inplace=True),

            nn.Conv2d(branch_features, branch_features, kernel_size=3, stride=self.stride, padding=1, groups=branch_features),
            nn.BatchNorm2d(branch_features),

            nn.Conv2d(branch_features, branch_features, kernel_size=1, stride=1, padding=0, bias=False),
            nn.BatchNorm2d(branch_features),
            nn.ReLU(inplace=True),
        )

    def forward(self, x):
        if self.stride == 1:
            x1, x2 = x.chunk(2, dim=1)
            out = torch.cat((x1, self.branch2(x2)), dim=1)
        else:
            out = torch.cat((self.branch1(x), self.branch2(x)), dim=1)

        out = self.channel_shuffle(out, 2)

        return out

ShuffleNetV2的主要流程可以简单地描述为以下几个步骤:

  1. 输入:输入是一张图像,经过预处理后传递给网络。

  2. 特征提取:图像通过一系列卷积层进行特征提取。ShuffleNetV2使用深度可分离卷积来减少参数数量和计算成本,同时保留有效的特征信息。这些卷积操作在不同层级上捕获图像的不同抽象级别的特征。

  3. 通道重组:在特征提取过程中,ShuffleNetV2通过通道重组操作,将特征图的通道进行重排,以促进特征之间的信息交流和融合。这有助于提高模型的表达能力和准确性。

  4. 多尺度特征融合:为了增强模型对不同尺度下物体的检测和识别能力,ShuffleNetV2可能在网络中引入多个分支或模块来实现多尺度特征融合。这些分支可能具有不同的感受野和分辨率,以捕获不同尺度下的特征信息,并将它们融合在一起以获得更加全面的特征表示。

  5. 分类/检测:最后,经过特征提取和融合后的特征被传递给分类器或检测头部,进行图像分类或目标检测任务。对于分类任务,通常会在最后添加全局平均池化层和全连接层来生成类别预测。对于目标检测任务,可能会在特征图上应用卷积层来预测目标的位置和类别。

整个流程中,ShuffleNetV2的关键在于利用深度可分离卷积、通道重组和多尺度特征融合等技术,实现了在保持模型性能的同时降低计算成本和内存占用的目标。

2.2 新增yaml文件

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# ShuffleNetV2 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv_maxpool, [24]],    # 0-P2/4

   [-1, 1, ShuffleNetV2_InvertedResidual, [116, 2]], # 1-P3/8
   [-1, 3, ShuffleNetV2_InvertedResidual, [116, 1]], # 2

   [-1, 1, ShuffleNetV2_InvertedResidual, [232, 2]], # 3-P4/16
   [-1, 7, ShuffleNetV2_InvertedResidual, [232, 1]], # 4

...

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]], # 8
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 11

   [-1, 1, Conv, [256, 1, 1]], # 12
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 15 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 12], 1, Concat, [1]], # cat head P4
   [-1, 3, C3, [512, False]],  # 18 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 8], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 21 (P5/32-large)

   [[15, 18, 21], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

温馨提示:本文只是对yolov5l基础上添加swin模块,如果要对yolov8n/l/m/x进行添加则只需要指定对应的depth_multiple 和 width_multiple。

# YOLOv5n
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.25  # layer channel multiple

# YOLOv5s
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# YOLOv5l 
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# YOLOv5m
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple

# YOLOv5x
depth_multiple: 1.33  # model depth multiple
width_multiple: 1.25  # layer channel multiple

2.3 注册模块

image.png

2.4 执行程序

在train.py中,将cfg的参数路径设置为yolov5_shuffle.yaml的路径
建议大家写绝对路径,确保一定能找到

🚀运行程序,如果出现下面的内容则说明添加成功🚀
image.png

3. 完整代码分享

YOLOv5改进 | 卷积模块 | 用ShuffleNetV2卷积替换Conv【轻量化网络】点击即可跳转

👆我修改后的代码, 提取码: 79es

4.GFLOPs对比

未改进的YOLOv5l的GFLOPs
image.png

改进的YOLOv5l的GFLOPs
image.png

GFLOPs大约减少三分之二

5. 总结

ShuffleNetV2是一种专注于轻量级设计的神经网络架构,其核心技术包括深度可分离卷积和通道重组,通过这些技术降低了参数数量和计算成本,同时利用多尺度特征融合提高了模型的检测和识别能力。该架构在图像分类和目标检测任务中表现出色,特别适用于资源受限的环境,如移动设备或边缘计算设备。ShuffleNetV2的设计目标在于在保持模型性能的同时降低内存占用,为图像处理任务提供了高效且可行的解决方案。

相关文章
|
2天前
|
数据采集 JSON 对象存储
三:爬虫-网络请求模块(下)
本篇主要讲解了网络请求模块中的Requests模块,并在文章最后用360翻译 -- 一个中英文互译程序作为本篇文章的爬虫示例
19 9
三:爬虫-网络请求模块(下)
|
1天前
|
机器学习/深度学习 人工智能 算法
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
海洋生物识别系统。以Python作为主要编程语言,通过TensorFlow搭建ResNet50卷积神经网络算法,通过对22种常见的海洋生物('蛤蜊', '珊瑚', '螃蟹', '海豚', '鳗鱼', '水母', '龙虾', '海蛞蝓', '章鱼', '水獭', '企鹅', '河豚', '魔鬼鱼', '海胆', '海马', '海豹', '鲨鱼', '虾', '鱿鱼', '海星', '海龟', '鲸鱼')数据集进行训练,得到一个识别精度较高的模型文件,然后使用Django开发一个Web网页平台操作界面,实现用户上传一张海洋生物图片识别其名称。
28 7
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
|
1天前
|
机器学习/深度学习 人工智能 算法
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集('蜜蜂', '甲虫', '蝴蝶', '蝉', '蜻蜓', '蚱蜢', '蛾', '蝎子', '蜗牛', '蜘蛛')进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一张昆虫图片识别其名称。
33 7
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
|
2天前
|
机器学习/深度学习 人工智能 算法
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
球类识别系统,本系统使用Python作为主要编程语言,基于TensorFlow搭建ResNet50卷积神经网络算法模型,通过收集 '美式足球', '棒球', '篮球', '台球', '保龄球', '板球', '足球', '高尔夫球', '曲棍球', '冰球', '橄榄球', '羽毛球', '乒乓球', '网球', '排球'等15种常见的球类图像作为数据集,然后进行训练,最终得到一个识别精度较高的模型文件。再使用Django开发Web网页端可视化界面平台,实现用户上传一张球类图片识别其名称。
21 7
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
|
2天前
|
机器学习/深度学习 PyTorch 算法框架/工具
认识卷积神经网络
卷积神经网络(CNN)是深度学习中用于图像处理的关键模型,它通过卷积层自动学习图像特征,池化层降低计算复杂度并保持重要特征,全连接层则用于分类或回归任务。卷积层使用可学习的滤波器扫描图像,检测特征;池化层通常采用最大池化或平均池化减少数据维度;全连接层连接所有特征以得出最终预测。CNN设计灵感来源于生物视觉系统,有效处理图像的网格结构数据,尤其适合图像识别和分类任务。
|
3天前
|
数据采集 数据安全/隐私保护 Python
二:网络请求模块(上)
网络请求模块就是帮助浏览器(客户端)向服务器发送请求的​。在Python3之前的版本(Python2版本)中所使用的网络请求模块是urllib模块​;在Python3现在的版本中通过urllib模块进行升级 有了现在所使用的requests模块,也就是requests模块是基于urllib模块进行开发的。本篇文章讲解的是urllib模块。
8 2
|
4天前
|
机器学习/深度学习 算法 计算机视觉
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
7 0
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
|
4天前
|
机器学习/深度学习 自然语言处理 TensorFlow
深入浅出:理解和实现深度学习中的卷积神经网络(CNN)
在当今的数据驱动世界,深度学习已经成为许多领域的关键技术。本文将深入探讨卷积神经网络(CNN)的原理、结构和应用,旨在帮助读者全面理解这项强大的技术,并提供实际的实现技巧。
22 0
|
1月前
|
消息中间件 Java Linux
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
2024年最全BATJ真题突击:Java基础+JVM+分布式高并发+网络编程+Linux(1),2024年最新意外的惊喜
|
17天前
|
网络协议 算法 Linux
【嵌入式软件工程师面经】Linux网络编程Socket
【嵌入式软件工程师面经】Linux网络编程Socket
34 1

热门文章

最新文章