AI 助理
备案控制台
开发者社区 大数据与机器学习 文章 正文

[YOLOv8/YOLOv7/YOLOv5系列算法改进NO.5]改进特征融合网络PANET为BIFPN（更新添加小目标检测层yaml）

2024-03-24 236
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时数仓Hologres，5000CU*H 100GB 3个月
推荐场景：
轻松玩转一站式实时仓库
智能开放搜索 OpenSearch行业算法版，1GB 20LCU 1个月
推荐场景：
搭建高质量商品搜索服务
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 本文介绍了改进YOLOv5以解决处理复杂背景时可能出现的错漏检问题。

前      言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是在处理一些复杂背景问题的时候，还是容易出现错漏检的问题。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。

解决问题：加入BIFPN加权双向金字塔结构，提升不同尺度的检测效果。

image.gif 编辑

image.gif 编辑

2023.1.8更新

有朋友问在添加小目标检测层，四个检测层的基础上如何改进特征融合网络，改进方法其他不变，需要修改yaml文件，有需要可关注私信我。 部分yaml内容如下所示：完整见百度网盘链接：链接：https://pan.baidu.com/s/1Qnn6QtGbZ7H3_h89QYA2vQ
提取码：关注私信后获取——扣扣2453038530

# parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
# anchors
anchors:
  - [ 19,27,  44,40,  38,94 ]  # P3/8
  - [ 96,68,  86,152,  180,137 ]  # P4/16
  - [ 140,301,  303,264,  238,542 ]  # P5/32
  - [ 436,615,  739,380,  925,792 ]  # P6/64
# YOLOv5 backbone
backbone:
  # [from, number, module, args]
  [ [-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
    [ -1, 1, Conv, [ 128, 3, 2 ] ],  # 1-P2/4
    [ -1, 3, C3, [ 128 ] ],
    [ -1, 1, Conv, [ 256, 3, 2 ] ],  # 3-P3/8
    [ -1, 6, C3, [ 256 ] ],  #4
    [ -1, 1, Conv, [ 512, 3, 2 ] ],  # 5-P4/16
    [ -1, 9, C3, [ 512 ] ], #6
    [ -1, 1, Conv, [ 768, 3, 2 ] ],  # 7-P5/32
    [ -1, 3, C3, [ 768 ] ], #8
    [ -1, 1, Conv, [ 1024, 3, 2 ] ],  # 9-P6/64
    [ -1, 3, C3, [ 1024 ] ],
    [ -1, 1, SPPF, [ 1024, 5 ] ], # 11
  ]
# BIFPN garph
#                        
# p6     ----------------- --------Concat_bifpn----> P6(out)
#      /                  \                         \       \
#      /-------------------------------------------->  
#     /                Upsample              Concat_bifpn   Concat_bifpn
#    /                    |                          \      | 
# p5 ---Concat_bifpn---> head 5 ---Concat_bifpn----> P5(out)
#                        \                                  \
#                      Upsample                              Concat_bifpn
#       ----------------  | ----------------------->        /
#     /                   \                         \       \
#    /                    |                  Concat_bifpn   |
#   /                     \                          \     |
# p4 ---Concat_bifpn---> head 4 ---Concat_bifpn--->  P4(out)
#                        \                                 \
#                         ----Upsample---->                Concat_bifpn   
#                                          \               /
# p3 ---Concat_bifpn------------------------------>  P3(out)
  
# YOLOv5 head                                                                       
head:                                                                       
  [ [ -1, 1, Conv, [ 768, 1, 1 ] ],    # 12 head                                  
    [ -1, 1, nn.Upsample, [ None, 2, 'nearest' ] ],                           
    [ [ -1, 8 ], 1, Concat_bifpn, [ 384,384] ],  # cat backbone P5                
    [ -1, 3, C3, [ 768, False ] ],  # 15
    [ -1, 1, Conv, [ 512, 1, 1 ] ],
    [ -1, 1, nn.Upsample, [ None, 2, 'nearest' ] ],
    [ [ -1, 6 ], 1, Concat_bifpn, [ 256,256] ],  # cat backbone P4
    [ -1, 3, C3, [ 512, False ] ],  # 19

image.gif

添加方法（以下改进步骤方法为在三个检测层的基础上）：

第一步：common.py构建Concat_BIFPN模块

class Concat_bifpn(nn.Module):
    # Concatenate a list of tensors along dimension
    def __init__(self, c1, c2):
        super(Concat_bifpn, self).__init__()
        self.w1 = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.w2 = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
       # self.w3 = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = Conv(c1, c2, 1 ,1 ,0 )
        self.act= nn.ReLU()
    def forward(self, x): # mutil-layer 1-3 layers #ADD or Concat 
        #print("bifpn:",x.shape)
        if len(x) == 2:
            w = self.w1
            weight = w / (torch.sum(w, dim=0) + self.epsilon)
            x = self.conv(self.act(weight[0] * x[0] + weight[1] * x[1]))
        elif len(x) == 3: 
            w = self.w2
            weight = w / (torch.sum(w, dim=0) + self.epsilon)
            x = self.conv(self.act (weight[0] * x[0] + weight[1] * x[1] + weight[2] * x[2]))
        # elif len(x) == 4:    
        #     w = self.w3
        #     weight = w / (torch.sum(w, dim=0) + self.epsilon)
        #     x = self.conv(self.act(weight[0] * x[0] + weight[1] * x[1] + weight[2] *x[2] + weight[3]*x[3] ))
        return x

image.gif

第二步：yolo.py中注册Concat_BIFPNt模块

elif m is Concat_bifpn:
            c2 = max([ch[x] for x in f])

image.gif

第三步：修改yaml文件（以修改官方YOLOv5s.yaml为例），需要修改head（特征融合网络）

# parameters
nc: 80  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
# anchors
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
# YOLOv5 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],   # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],
  ]
# YOLOv5 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1,6], 1, Concat_bifpn, [256,256]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat_bifpn, [128,128]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
   [-1, 1, Conv, [512, 3, 2]],   # 320, 640 # 
   [[-1, 6, 13], 1, Concat_bifpn, [256,256]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
   [-1, 1, Conv, [1024, 3, 2]], # 640, 1280 # 
   [[-1, 9], 1, Concat_bifpn, [512, 512]],  # cat head P5  cat 20,20 #22
   [-1, 3, C3, [1024, False]],  # 25 (P5/32-large) # 1280, 1280  #23
   [[17, 20, 23], 1, Detect, [nc, anchors]] # Detect(P3, P4, P5)
  ]

image.gif 

Model Summary: 290 layers, 8114651 parameters, 8114651 gradients, 17.4 GFLOPs

image.gif

2023.2.19补充：如果需要在YOLOv5l.yaml等网络结构进行修改的话，不可直接用以上的yaml文件或者就简单修改depth_multiple为1.0，而是 需要修改Concat_bifpn, [256,256]中的通道数为对应网络实际通道数。具体如下所示：

# parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
# anchors
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
# YOLOv5 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],   # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],
  ]
# YOLOv5 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1,6], 1, Concat_bifpn, [512,512]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat_bifpn, [256,256]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
   [-1, 1, Conv, [512, 3, 2]],   # 320, 640 # 
   [[-1, 6, 13], 1, Concat_bifpn, [512,512]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
   [-1, 1, Conv, [1024, 3, 2]], # 640, 1280 # 
   [[-1, 9], 1, Concat_bifpn, [1024, 1024]],  # cat head P5  cat 20,20 #22
   [-1, 3, C3, [1024, False]],  # 25 (P5/32-large) # 1280, 1280  #23
   [[17, 20, 23], 1, Detect, [nc, anchors]] # Detect(P3, P4, P5)
  ]

image.gif

第四步：将train.py中改为本文的yaml文件即可，开始训练

结    果：本人在多个数据集上做了大量实验，针对不同的数据集效果不同，同一个数据集的不同添加位置方法也是有差异，需要大家进行实验。有效果有提升的情况占大多数。

预告一下：下一篇内容分享增加小目标检测层。有兴趣的朋友可以关注一下我，有问题可以留言或者私聊我哦

PS：，不仅仅是可以添加进YOLOv5，也可以添加进任何其他的深度学习网络，不管是分类还是检测还是分割，主要是计算机视觉领域，都可能会有不同程度的提升效果。

最后，四个检测层的基础上改进特征融合网络为BIFPN的话，需要修改yaml文件，有需要可关注私信我。

文章标签：
计算机视觉
算法
机器学习/深度学习
关键词：
网络融合
网络算法
算法网络
yolov5网络
算法特征
zhouqikai123654
目录
相关文章
YOLO创新改进大师
|
3月前
|
编解码 Go 文件存储
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN ：实时目标检测的创新型特征金字塔网络
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN ：实时目标检测的创新型特征金字塔网络
YOLO创新改进大师
102 0
可编程芯片开发
|
18天前
|
机器学习/深度学习 算法
基于心电信号时空特征的QRS波检测算法matlab仿真
本课题旨在通过提取ECG信号的时空特征并应用QRS波检测算法识别心电信号中的峰值。使用MATLAB 2022a版本实现系统仿真，涵盖信号预处理、特征提取、特征选择、阈值设定及QRS波检测等关键步骤，以提高心脏疾病诊断准确性。预处理阶段采用滤波技术去除噪声，检测算法则结合了一阶导数和二阶导数计算确定QRS波峰值。
可编程芯片开发
29 0
toddli
|
2月前
|
算法 JavaScript 前端开发
国标非对称加密：RSA算法、非对称特征、js还原、jsencrypt和rsa模块解析
国标非对称加密：RSA算法、非对称特征、js还原、jsencrypt和rsa模块解析
toddli
131 1
郑小健
|
3月前
|
监控 算法 自动驾驶
目标检测算法：从理论到实践的深度探索
【7月更文第18天】目标检测，作为计算机视觉领域的核心任务之一，旨在识别图像或视频中特定对象的位置及其类别。这一技术在自动驾驶、视频监控、医疗影像分析等多个领域发挥着至关重要的作用。本文将深入浅出地介绍目标检测的基本概念、主流算法，并通过一个实际的代码示例，带您领略YOLOv5这一高效目标检测模型的魅力。
郑小健
387 11
YOLO创新改进大师
|
3月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进 - 注意力机制】Gather-Excite : 提高网络捕获长距离特征交互的能力
【YOLOv8改进 - 注意力机制】Gather-Excite : 提高网络捕获长距离特征交互的能力
YOLO创新改进大师
38 3
洛秋_
|
3月前
|
机器学习/深度学习 人工智能 监控
人工智能 - 目标检测算法详解及实战
目标检测需识别目标类别与位置，核心挑战为复杂背景下的多目标精准快速检测。算法分两步：目标提取（滑动窗口或区域提议）和分类（常用CNN）。IoU衡量预测与真实框重叠度，越接近1，检测越准。主流算法包括R-CNN系列（R-CNN, Fast R-CNN, Faster R-CNN），YOLO系列，SSD，各具特色，如Faster R-CNN高效候选区生成与检测，YOLO适用于实时应用。应用场景丰富，如自动驾驶行人车辆检测，安防监控，智能零售商品识别等。实现涉及数据准备、模型训练（示例YOLOv3）、评估（Precision, Recall, mAP）及测试。
洛秋_
101 5
番茄酱脑袋
|
2月前
|
机器学习/深度学习 算法 搜索推荐
支付宝商业化广告算法问题之在DNN模型中，特征的重要性如何评估
支付宝商业化广告算法问题之在DNN模型中，特征的重要性如何评估
番茄酱脑袋
29 0
YOLO创新改进大师
|
3月前
|
机器学习/深度学习 编解码 计算机视觉
【YOLOv8改进 - 特征融合NECK】 GIRAFFEDET之GFPN ：广义特征金字塔网络，高效地融合多尺度特征
YOLOv8专栏探讨了目标检测的创新改进，提出了GiraffeDet，一种轻量级主干和深度颈部模块结合的高效检测网络。GiraffeDet使用S2D-chain和GFPN，优化多尺度信息交换，提升检测性能。代码和论文可在相关链接找到。GFPN通过跳跃和跨尺度连接增强信息融合。文章还展示了核心组件如SPPV4、Focus和CSPStage的代码实现。
YOLO创新改进大师
172 8
YOLO创新改进大师
|
3月前
|
计算机视觉 网络架构
【YOLOv8改进 - 卷积Conv】DWRSeg：扩张式残差分割网络，提高特征提取效率和多尺度信息获取能力，助力小目标检测
YOLO目标检测专栏探讨了YOLO的创新改进，如多尺度特征提取的DWRSeg网络。该网络通过区域残差化和语义残差化提升效率，使用DWR和SIR模块优化高层和低层特征。DWRSeg在Cityscapes和CamVid数据集上表现优秀，速度与准确性兼备。论文和代码已公开。核心代码展示了一个包含DWR模块的卷积层。更多配置详情见相关链接。
YOLO创新改进大师
111 3
YOLO创新改进大师
|
3月前
|
机器学习/深度学习 大数据 计算机视觉
【YOLOv8改进 - 特征融合】 GELAN:YOLOV9 通用高效层聚合网络，高效且涨点
YOLOv8专栏探讨了深度学习中信息瓶颈问题，提出可编程梯度信息（PGI）和广义高效层聚合网络（GELAN），改善轻量级模型的信息利用率。GELAN在MS COCO数据集上表现优越，且PGI适用于不同规模的模型，甚至能超越预训练SOTA。[论文](https://arxiv.org/pdf/2402.13616)和[代码](https://github.com/WongKinYiu/yolov9)已开源。核心组件RepNCSPELAN4整合了RepNCSP块和卷积。更多详情及配置参见相关链接。
YOLO创新改进大师
101 2

大数据与机器学习

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
  • 2
    DataV首次实战分享：教你30分钟创建汽车大屏
  • 3
    阿里封神谈hadoop生态学习之路
  • 4
    DataV回调id——从入门到精通
  • 5
    盘古：阿里云飞天分布式存储系统设计深度解析
  • 6
    数据仓库介绍与实时数仓案例
  • 7
    DataV接入ECharts图表库 可视化利器强强联手
  • 8
    空格App亿元A轮融资背后：云上多场景技术架构实践与经验
  • 9
    优酷背后的大数据秘密
  • 10
    权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • 1
    模型无关的局部解释（LIME）技术原理解析及多领域应用实践
    15
  • 2
    基于粒子群优化算法的图象聚类识别matlab仿真
    12
  • 3
    PAIRDISTILL: 用于密集检索的成对相关性蒸馏方法
    33
  • 4
    基于hologres搭建轻量OLAP分析平台解决方案评测
    26
  • 5
    HTML5 Web IndexedDB 数据库详解
    27
  • 6
    Java HashMap详解
    17
  • 7
    扩散引导语言建模(DGLM):一种可控且高效的AI对齐方法
    18
  • 8
    SCoRe: 通过强化学习教导大语言模型进行自我纠错
    15
  • 9
    基于无线传感器网络的节点分簇算法matlab仿真
    34
  • 10
    C 标准库 - <stdlib.h>在物联网中的应用
    24

    • 相关课程

    更多
  • 云网络白皮书-阿里云网络系列课
  • Go语言核心编程 - 数据结构和算法
  • 企业上云攻略-阿里云网络产品应用系列教程
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 网络管理者必知-2分钟了解新出台的《网络安全法》
  • 神经网络概览及算法详解

    • 相关电子书

    更多
  • Keynote：阿里云网络领域关键创新技术解读
  • 智慧光网络 关键技术应用实践和未来演进
  • 思科软件定义访问：实现基于业务意图的园区网络

    • 相关实验场景

    更多
  • 推荐系统入门之使用ALS算法实现打分预测
  • 欧拉图的构造性证明与算法实现
  • RSA密码算法设计与实现
  • RSA非对称加密算法
  • 使用阿里云容器服务和容器网络文件系统搭建WordPress网站
    • 下一篇
    无影云桌面