YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测

简介: YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测

一、本文介绍

本文将HS-FPN结构融入YOLOv11 以优化目标检测网络模型HS-FPN借助通道注意力机制及独特的多尺度融合策略,有效应对目标尺寸差异及特征稀缺问题。在YOLOv11中应用HS - FPN时,其利用高级特征筛选低级特征,增强特征表达,助力模型精准定位和识别目标,减少因尺度变化及特征不足导致的检测误差,显著提升YOLOv11在各项检测任务中的准确性与稳定性。


专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、HS-FPN介绍

Accurate Leukocyte Detection Based on Deformable-DETR and Multi-Level Feature Fusion for Aiding Diagnosis of Blood Diseases

HS - FPN结构特征选择模块特征融合模块组成。

  • 特征选择模块中,CA模块先处理输入特征图,经池化激活函数确定各通道权重以过滤特征图DM模块再对不同尺度特征图降维;
  • 特征融合模块中,利用SFF机制以高级特征为权重筛选低级特征语义信息后融合,提升模型检测能力。

    2.1 出发点

    在白细胞数据集中,白细胞识别任务面临多尺度问题,不同类型白细胞直径通常有差异,相同白细胞在不同显微镜下成像大小也会不同,这使得模型难以准确识别白细胞,所以需要设计HS - FPN来实现多尺度特征融合,帮助模型捕捉更全面的白细胞特征信息。

    2.2 结构原理

  • 特征选择模块:由CA模块DM模块组成。对于输入特征图$f{in } \in R^{C ×H ×W}$,CA模块先进行全局平均池化和全局最大池化,再结合结果,经Sigmoid激活函数确定各通道权重$f{C A} \in R^{C ×1 ×1}$,通过与对应尺度特征图相乘得到过滤后的特征图。因不同尺度特征图通道数不同,DM模块用1×1卷积将各尺度特征图通道数降为 256。

  • 特征融合模块:骨干网络生成的多尺度特征图中,高级特征语义信息丰富但目标定位粗糙,低级特征定位精确但语义信息有限。传统直接像素求和融合有缺陷,研究中的SFF模块以高级特征为权重筛选低级特征中的关键语义信息。对于输入高级特征$f{high } \in R^{C ×H ×W}$和低级特征$f{low } \in R^{C ×H{1} ×W{1}}$,先对高级特征用步长为2、卷积核为3 x3的转置卷积扩展,再用双线性插值统一维度得到$f{att } \in R^{C ×H{1} ×W{1}}$,经 CA 模块将高级特征转为注意力权重过滤低级特征,最后融合得到$f{out } \in R^{C ×H{1} ×W{1}}$,其融合过程公式为$$f_{att }=B L\left(T - Conv\left(f_{high }\right)\right)$$$$f_{out }=f_{low } * C A\left(f_{att }\right)+f_{att }$$

在这里插入图片描述

2.3 作用

HS-FPN能够利用通道注意力模块,以高级语义特征为权重过滤低级特征,并将筛选后的特征与高级特征逐点相加,实现多尺度特征融合,从而提高模型的特征表达能力,有助于检测到细微特征,增强模型的检测能力。

论文:https://arxiv.org/pdf/2212.11677
源码:https://github.com/Barrett-python/DuAT

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144635332

目录
相关文章
|
1月前
|
编解码 异构计算
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
78 9
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
1月前
|
机器学习/深度学习 C语言 计算机视觉
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
49 11
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
|
1月前
|
计算机视觉
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
66 17
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
52 11
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
|
1月前
|
计算机视觉
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
87 11
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
|
1月前
|
编解码 异构计算
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
166 7
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
1月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
81 7
YOLOv11改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
|
1月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
YOLOv11改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
48 1
YOLOv11改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
|
1月前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
40 1
YOLOv11改进策略【注意力机制篇】| CVPRW-2024 分层互补注意力混合层 H-RAMi 针对低质量图像的特征提取模块
|
1月前
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
YOLOv11改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
62 8