YOLOv5改进 | Conv篇 | 结合Dual思想利用HetConv创新一种全新轻量化结构CSPHet(参数量下降20W)

简介: YOLOv5改进 | Conv篇 | 结合Dual思想利用HetConv创新一种全新轻量化结构CSPHet(参数量下降20W)

一、本文介绍

本文给大家带来的改进机制是我结合Dual的思想利用HetConv提出一种全新的结构CSPHet,我们将其用于替换我们的C3结构,可以将参数降低越20W,GFLOPs降低至4.1GFLOPs,同时本文的结构比我提出的另一个CSPPC精度更高,但是轻量化效果要差一点同时本文结构为我独家创新,全网无第二份,非常适合用于发表论文,该结构非常灵活,利用Dual卷积思想,结合异构内核卷积来并行处理图片,结构上的结合非常合理,同时该结构非常适合轻量化的读者。

欢迎大家订阅我的专栏一起学习YOLO! image.png


专栏目录:YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
专栏回顾:YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新

二、HetConv原理


image.png


2.1 HetConv的基本原理

HetConv(异构内核卷积)是一种新型的深度学习架构,它采用了不同大小的卷积核来执行卷积操作。

HetConv(异构内核卷积)采用的基本原理如下:

1. 异构内核:HetConv结合了不同大小的卷积核,如图所示,部分核为3x3,部分核为1x1。

2. 参数分区:在HetConv中,卷积核被分为几个部分,参数`P`代表了这些部分的数量。比如,当`P=2`时,意味着有一半的卷积核是3x3大小,另一半是1x1。

3. 计算效率:通过使用较小的1x1卷积核替代一部分3x3核,HetConv能够减少所需的浮点运算次数(FLOPs),从而提高计算效率。

4. 参数减少:由于1x1卷积核比3x3卷积核需要更少的参数,HetConv相比标准卷积操作能够减少模型的参数数量。

5. 保持表征能力:即使减少了计算量和参数,HetConv依然能够保持卷积神经网络的表征效率,不牺牲模型的准确性。

下面这张图展示了标准卷积滤波器和HetConv(异构内核卷积)滤波器之间的区别

image.png

图中的HetConv使用了不同大小的内核,具体如下:

- 标准卷积滤波器:所有卷积核大小相同。

- HetConv滤波器(P=2):一半的卷积核为3x3,另一半为1x1。

- HetConv滤波器(P=4):四分之一的卷积核为3x3,剩余的为1x1。

其中`M`代表输入通道的数量,`P`代表将卷积核分为多少部分。当我们增加`P`的值时,使用1x1大小的卷积核的比例就会增加,这样可以减少计算量并减少模型参数,但同时也能保持必要的网络性能。通过这种设计,HetConv可以在减少计算复杂度和模型大小的同时,保持或提高模型准确性。

接下来这张图比较了HetConv(异构内核卷积)滤波器与其他高效的卷积滤波器:

image.png


HetConv滤波器的优势在于它的异构性能消除了延迟,而其他类型的卷积滤波器如组卷积加逐点卷积(GWC+PWC)或深度卷积加逐点卷积(DWC+PWC)至少有一个单元的延迟。

图中清晰地展示了不同卷积类型的结构差异,包括深度卷积、组卷积、标准卷积和HetConv提出的卷积滤波器。通过这种比较,我们可以理解HetConv如何在减少计算资源的同时,还能保持或提高处理速度。

目录
相关文章
|
1月前
|
算法 测试技术 异构计算
【SAM模型超级进化】MobileSAM轻量化的分割一切大模型出现,模型缩小60倍,速度提高40倍,效果不减
【SAM模型超级进化】MobileSAM轻量化的分割一切大模型出现,模型缩小60倍,速度提高40倍,效果不减
|
2月前
|
机器学习/深度学习
YOLOv5改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约42W)
YOLOv5改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约42W)
207 4
|
2月前
|
机器学习/深度学习 数据可视化 计算机视觉
YOLOv5改进 | Conv篇 | 利用DualConv二次创新C3提出一种轻量化结构(降低参数30W)
YOLOv5改进 | Conv篇 | 利用DualConv二次创新C3提出一种轻量化结构(降低参数30W)
239 1
|
2月前
|
机器学习/深度学习
YOLOv8改进 | Conv篇 | 结合Dual思想利用HetConv创新一种全新轻量化结构CSPHet(参数量下降70W)
YOLOv8改进 | Conv篇 | 结合Dual思想利用HetConv创新一种全新轻量化结构CSPHet(参数量下降70W)
99 0
|
2月前
|
机器学习/深度学习
YOLOv8改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约100W)
YOLOv8改进 | Conv篇 | 利用轻量化PartialConv提出一种全新的结构CSPPC (参数量下降约100W)
704 0
|
11月前
|
机器学习/深度学习 数据采集 人工智能
放弃Softmax,首个线性注意力Transformer大模型:1750亿参数,速度、精度更优
放弃Softmax,首个线性注意力Transformer大模型:1750亿参数,速度、精度更优
|
11月前
|
机器学习/深度学习 数据可视化 计算机视觉
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA(1)
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA
105 0
|
人工智能 自然语言处理 云计算
蒸馏也能Step-by-Step:新方法让小模型也能媲美2000倍体量大模型
蒸馏也能Step-by-Step:新方法让小模型也能媲美2000倍体量大模型
151 0
|
机器学习/深度学习
部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减(二)
部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减(二)
254 0
|
机器学习/深度学习 存储 边缘计算
部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减(一)
部署技巧之PAGCP剪枝 | Yolov5/ResNet参数降低50%速度翻倍精度不减(一)
1027 0