YOLOv8改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)

简介: YOLOv8改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)

一、本文改进

本文给大家带来的改进机制是CCFM配合Dyhead检测头实现融合涨点,这个结构配合在一起只能说是完美的融合,看过我之前的检测头篇的读者都知道Dyhead官方版本支持的输入通道数是需要保持一致的,但是CCFM作为RT-DETR的Neck结构其输出通道数就是一致的,所以将这两种模块结合起来可以说是完美融合,我也将其进行了实验,在我的数据上已经做到了完美涨点! ,我之前发的Damo-YOLO和CCFM-SENetV2均有人和我反应已经涨点了,均有聊天记录证明,所以想要发文章的读者可以趁早入手本专栏,快人一步,同时本融合机制参数量也有大幅度下降,相较于原先下降了百分之如下,可以说既轻量又提点。

(这里说一下为啥多发CCFM的融合因为其是今年最近新出的Neck结构非常轻量化,同时精度还不低结构还简单,后面我也会出一些分割的检测头融合改进,本文提供两种yaml文件,一种轻量化精度略微上涨,一种参数量大一点但是也是轻量化一些,精度更高)

欢迎大家订阅我的专栏一起学习YOLO!

image.png

二、Dyhead的框架原理

image.png

2.1 DynamicHead的核心思想

这篇论文的核心思想是提出了一种名为“动态头”的新型检测头,用于统一尺度感知(scale-awareness)、空间感知(spatial-awareness)和任务感知(task-awareness)。文中将目标检测头的输入视为一个具有层级×空间×通道三个维度的3维张量。作者提出,这种统一的检测头可以被看作是一个注意力学习问题。理论上,可以在这个张量上构建一个完整的自注意力机制,但这样的优化问题难以解决,且计算成本过高。因此,他们选择在特征的每个特定维度上分别部署注意力机制

这篇论文的主要创新点可以分为以下几个方面:

1. 任务感知的注意力机制:提出了一种在检测头中部署注意力的方法,这种注意力可以自适应地偏好于不同的任务,无论是单阶段/双阶段检测器,还是基于盒子/中心/关键点的检测器。

2. 尺度感知和空间感知:研究提出了一个可以同时启用尺度感知、空间感知和任务感知的统一对象检测头。这意味着检测头能够处理在图像中共存的多种不同尺度的对象,同时考虑到对象通常在不同视角下呈现出不同的形状、旋转和位置。

3. 空间感知注意力:在检测头中实现了一种空间感知的注意力,它不仅将注意力应用于每个空间位置,还能自适应地聚合多个特征层级,以学习更具辨别力的表达。

总结:这篇论文的创新之处在于将尺度感知、空间感知和任务感知融合到一个统一的框架中,并在目标检测头中有效地应用注意力机制,提高了检测性能和效率。

2.2 DynamicHead的框架图

image.png

上图是论文中的图1其展示了动态头(Dynamic Head)方法的框架。这个方法包括三种不同的注意力机制,每种都专注于不同的方面:尺度感知注意力(Scale-aware Attention)、空间感知注意力(Spatial-aware Attention)和任务感知注意力(Task-aware Attention)。在图中,我们可以看到每种注意力模块后的特征图是如何改进的。

1. 尺度感知注意力:这个模块专注于特征层级(L),通过将特征金字塔缩放到相同的尺度来形成一个三维张量F∈RL×S×C,然后将其作为动态头的输入。

2. 空间感知注意力:接着,将包含尺度感知、空间感知和任务感知注意力的多个动态头块(Dy-Head blocks)依次堆叠起来。这个模块专注于空间位置(S),通过对特征进行聚合来关注图像中的区别性区域。

3. 任务感知注意力:最终,动态头的输出可以用于不同的任务和目标检测的表示,例如分类、中心/框回归等。这个模块专注于通道(C),动态地开启或关闭特征通道以支持不同的任务。

如图所示:在初始的特征图中,由于领域差异,特征映射往往很嘈杂。应用动态头的三种注意力机制后,特征图变得更加清晰和专注。每一步注意力的应用都使得特征表示更加优化,从而为不同的目标检测任务提供了更好的基础

2.3 DynamicHead的组成构建

image.png

上图提供了动态头(Dynamic Head)设计的详细信息,其中:

(a) 动态头块(DyHead Block)

  • 描述了每个注意力模块的详细实现。尺度感知注意力(πL),空间感知注意力(πS),和任务感知注意力(πC)分别对应着不同的模块,每个模块针对的是特征张量F的不同维度(层级L、空间S、通道C)。
  • 尺度感知注意力模块使用了平均池化、1x1卷积、ReLU激活函数和硬Sigmoid函数。
  • 空间感知注意力模块包括偏移量学习和3x3卷积。
  • 任务感知注意力模块则通过全连接层、ReLU激活函数、以及归一化操作来处理。

网络上的改进将此部分进行了阉割,可以说是将最核心的地方进行了改动,所以效果只能说一般网络上的魔改版本,为什么要阉割是因为这个检测头在使用的时候需要注意一些细节,否则会一直报错。

image.png

(b) 应用于单阶段检测器

  • 展示了如何将多个动态头块应用于单阶段目标检测器,每个块的输出可用于分类、中心回归、框回归和关键点回归等不同任务。

image.png

(c) 应用于双阶段检测器

  • 展示了如何将动态头块应用于双阶段目标检测器。在这种情况下,首先在ROI池化层之前应用尺度感知和空间感知注意力,在ROI池化层之后使用任务感知注意力替换原有的全连接层。

整体来看,动态头的设计允许它灵活地适配于不同类型的目标检测器,无论是单阶段还是双阶段,都能通过添加不同类型的预测来提高性能。这种设计使得动态头不仅能够提高检测器的准确性,而且还能够适应不同的检测任务,显示出高度的灵活性和扩展性。

目录
相关文章
|
7月前
|
机器学习/深度学习 编解码 数据可视化
YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络(全网首发)
YOLOv5改进 | 主干篇 | 12月份最新成果TransNeXt特征提取网络(全网首发)
265 0
|
机器学习/深度学习 编解码 数据可视化
【即插即用】涨点神器AFF:注意力特征融合(已经开源,附论文和源码链接)
【即插即用】涨点神器AFF:注意力特征融合(已经开源,附论文和源码链接)
2837 1
|
28天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合DWRSeg二次创新C3k2_DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
【YOLO11改进 - C3k2融合】C3k2融合DWRSDWRSeg是一种高效的实时语义分割网络,通过将多尺度特征提取方法分解为区域残差化和语义残差化两步,提高了多尺度信息获取的效率。网络设计了Dilation-wise Residual (DWR) 和 Simple Inverted Residual (SIR) 模块,分别用于高阶段和低阶段,以充分利用不同感受野的特征图。实验结果表明,DWRSeg在Cityscapes和CamVid数据集上表现出色,以每秒319.5帧的速度在NVIDIA GeForce GTX 1080 Ti上达到72.7%的mIoU,超越了现有方法。代码和模型已公开。
|
7月前
|
机器学习/深度学习 计算机视觉
YOLOv5改进 | 2023 | MPDIoU、InnerMPDIoU助力细节涨点
YOLOv5改进 | 2023 | MPDIoU、InnerMPDIoU助力细节涨点
191 0
|
7月前
|
机器学习/深度学习 编解码 自然语言处理
全网首发,Swin Transformer+FaceNet实现人脸识别
全网首发,Swin Transformer+FaceNet实现人脸识别
222 3
|
6月前
|
机器学习/深度学习 编解码 计算机视觉
【保姆级教程|YOLOv8改进】【6】快速涨点,SPD-Conv助力低分辨率与小目标检测
【保姆级教程|YOLOv8改进】【6】快速涨点,SPD-Conv助力低分辨率与小目标检测
|
7月前
|
机器学习/深度学习 知识图谱
YOLOv8改进 | 融合改进篇 | 轻量化CCFM + SENetv2进行融合改进涨点 (全网独家首发)
YOLOv8改进 | 融合改进篇 | 轻量化CCFM + SENetv2进行融合改进涨点 (全网独家首发)
210 2
|
7月前
|
机器学习/深度学习 计算机视觉
YOLOv8改进 | 2023 | MPDIoU、InnerMPDIoU助力细节涨点
YOLOv8改进 | 2023 | MPDIoU、InnerMPDIoU助力细节涨点
331 1
|
7月前
|
机器学习/深度学习 计算机视觉
YOLOv5改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)
YOLOv5改进 | 融合改进篇 | CCFM + Dyhead完美融合突破极限涨点 (全网独家首发)
473 0
|
7月前
|
机器学习/深度学习 知识图谱
YOLOv5改进 | 融合改进篇 | 轻量化CCFM + SENetv2进行融合改进涨点 (全网独家首发)
YOLOv5改进 | 融合改进篇 | 轻量化CCFM + SENetv2进行融合改进涨点 (全网独家首发)
211 0