YOLOv11改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力

简介: YOLOv11改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力

一、本文介绍

本文主要利用GOLD - YOLO中的颈部结构优化YOLOv11的网络模型GOLD - YOLO颈部结构中的GD机制借鉴了全局信息融合的理念,通过独特的模块设计,在不显著增加延迟的情况下,高效融合不同层级的特征信息。将其应用于YOLOv11的改进过程中,能够使模型更有效地整合多尺度特征,减少信息损失,强化对不同大小目标物体的特征表达,从而提升模型在复杂场景下对目标物体的检测精度与定位准确性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、GOLD-YOLO介绍

Gold-YOLO: Efficient Object Detector via Gather-and-Distribute Mechanism

GOLD - YOLO颈部结构的设计旨在解决传统信息融合方法的缺陷,提升模型性能。以下从出发点、结构原理、模块组成和优势四方面详细介绍:

2.1 出发点

传统YOLO系列颈部结构采用PAFPN,该结构在融合跨层信息时存在缺陷,信息传递存在损失

例如,当level - 1获取level - 3信息时,需先将level - 2和level - 3信息融合,导致信息交互只能传递中间层选择的信息,未被选择的信息在传输中被丢弃,限制了信息融合的整体效果。为避免这种信息损失,构建了Gather - and - Distribute(GD)机制。

2.2 结构原理

GD机制通过统一模块收集和融合所有层级的信息,并将其分配到不同层级。该过程对应三个模块:Feature Alignment Module(FAM)、Information Fusion Module(IFM)和Information Injection Module(Inject)。

具体来说,FAM收集并对齐各层级特征IFM融合对齐后的特征生成全局信息Inject模块将全局信息分配到各层级并通过简单注意力操作注入,从而增强分支的检测能力。为提升对不同大小物体的检测能力,还开发了低阶段(Low-GD)和高阶段(High-GD)两个分支,分别提取和融合大尺寸和小尺寸特征图,颈部输入为骨干网络提取的特征图 $B2$,$B3$,$B4$,$B5$ 。

2.3 模块组成

  • 低阶段收集 - 分发分支(Low-GD):选择骨干网络输出的 $B2$,$B3$,$B4$,$B5$ 特征进行融合以获取保留小目标信息的高分辨率特征。
    • 包含低阶段特征对齐模块(Low-FAM),使用平均池化操作将输入特征下采样到统一大小(以 $R_{B4}=\frac{1}{4}R$ 为目标对齐大小);
    • 低阶段信息融合模块(Low-IFM),由多层重参数化卷积块(RepBlock)和一个分割操作组成;
    • 信息注入模块,借鉴分割经验,采用注意力操作全局信息高效注入不同层级 ,如图所示。

在这里插入图片描述

  • 高阶段收集 - 分发分支(High-GD):融合Low-GD生成的 ${P3, P4, P5}$ 特征。
    • 包括高阶段特征对齐模块(High-FAM),利用平均池化将输入特征维度降低到统一大小(以 $R_{P5}=\frac{1}{8}R$ 为目标);
    • 高阶段信息融合模块(High-IFM),由Transformer块和分割操作组成;
    • 信息注入模块Low-GD中的相同,如图所示。

在这里插入图片描述

  • 增强跨层信息流模块(Inject - LAF):受PAFPN模块启发,对信息注入模块进行增强,包含轻量级相邻层融合(LAF)模块。
    • 设计了LAF低层级模型LAF高层级模型,分别用于低层级注入(融合相邻两层特征)和高层级注入(融合相邻一层特征)。
    • 该模块通过双线性插值平均池化1x1卷积操作,在不显著增加延迟的情况下,增加不同层级之间的信息流路径,平衡了模型的精度和速度 ,如图所示。

在这里插入图片描述

2.4 优势

通过GD机制Inject-LAF模块GOLD-YOLO颈部结构有效提升了信息融合能力,避免了传统FPN结构的信息损失问题。实验表明,该颈部结构在不同模型尺寸下,都能在不显著增加延迟的情况下,提高模型在不同大小物体上的检测性能。

论文:https://arxiv.org/abs/2309.11331v4
源码:https://github.com/huawei-noah/Efficient-Computing/tree/master/Detection/Gold-YOLO

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145202416

目录
相关文章
|
10月前
|
机器学习/深度学习 Go 计算机视觉
YOLOv8改进 | Neck篇 | 利用ASF-YOLO改进特征融合层(适用于分割和目标检测)
YOLOv8改进 | Neck篇 | 利用ASF-YOLO改进特征融合层(适用于分割和目标检测)
641 1
|
10月前
YOLOv5改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(轻量化Neck、全网独家首发)
YOLOv5改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(轻量化Neck、全网独家首发)
624 4
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
RT-DETR改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
67 17
RT-DETR改进策略【Neck】| NeurIPS 2023 融合GOLD-YOLO颈部结构,强化小目标检测能力
|
1月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
103 9
YOLOv11改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
8月前
|
编解码 Go 文件存储
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络
【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络
|
9月前
|
边缘计算 计算机视觉 异构计算
【YOLOv8改进 - 特征融合NECK】Slim-neck:目标检测新范式,既轻量又涨点
YOLO目标检测专栏探讨了模型优化,提出GSConv和Slim-Neck设计,以实现轻量级模型的高效检测。GSConv减小计算复杂度,保持准确性,适合实时任务。Slim-Neck结合GSConv优化架构,提高计算成本效益。在Tesla T4上,改进后的检测器以100FPS处理SODA10M数据集,mAP0.5达70.9%。论文和代码可在提供的链接中获取。文章还介绍了YOLOv8中GSConv的实现细节。更多配置信息见相关链接。
|
10月前
|
计算机视觉
YOLOv5改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
YOLOv5改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
347 1
YOLOv5改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
|
10月前
YOLOv8改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(降低100W参数,全网独家首发)
YOLOv8改进 | Neck篇 | 2024.1最新MFDS-DETR的HS-FPN改进特征融合层(降低100W参数,全网独家首发)
499 2
|
10月前
|
机器学习/深度学习 计算机视觉
YOLOv8改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
YOLOv8改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
384 0
YOLOv8改进 | 2023Neck篇 | 利用Damo-YOLO的RepGFPN改进特征融合层
|
10月前
|
机器学习/深度学习 Go 计算机视觉
YOLOv5改进 | Neck篇 | 利用ASF-YOLO改进特征融合层(适用于分割和目标检测)
YOLOv5改进 | Neck篇 | 利用ASF-YOLO改进特征融合层(适用于分割和目标检测)
557 0