RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测

简介: RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测

一、本文介绍

本文将HS-FPN结构融入RT-DETR以优化目标检测网络模型HS-FPN借助通道注意力机制及独特的多尺度融合策略,有效应对目标尺寸差异及特征稀缺问题。在RT-DETR中应用HS - FPN时,其利用高级特征筛选低级特征,增强特征表达,助力模型精准定位和识别目标,减少因尺度变化及特征不足导致的检测误差,显著提升RT-DETR在各项检测任务中的准确性与稳定性。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、HS-FPN介绍

Accurate Leukocyte Detection Based on Deformable-DETR and Multi-Level Feature Fusion for Aiding Diagnosis of Blood Diseases

HS - FPN结构特征选择模块特征融合模块组成。

  • 特征选择模块中,CA模块先处理输入特征图,经池化激活函数确定各通道权重以过滤特征图DM模块再对不同尺度特征图降维;
  • 特征融合模块中,利用SFF机制以高级特征为权重筛选低级特征语义信息后融合,提升模型检测能力。

    2.1 出发点

    在白细胞数据集中,白细胞识别任务面临多尺度问题,不同类型白细胞直径通常有差异,相同白细胞在不同显微镜下成像大小也会不同,这使得模型难以准确识别白细胞,所以需要设计HS - FPN来实现多尺度特征融合,帮助模型捕捉更全面的白细胞特征信息。

    2.2 结构原理

  • 特征选择模块:由CA模块DM模块组成。对于输入特征图$f{in } \in R^{C ×H ×W}$,CA模块先进行全局平均池化和全局最大池化,再结合结果,经Sigmoid激活函数确定各通道权重$f{C A} \in R^{C ×1 ×1}$,通过与对应尺度特征图相乘得到过滤后的特征图。因不同尺度特征图通道数不同,DM模块用1×1卷积将各尺度特征图通道数降为 256。

  • 特征融合模块:骨干网络生成的多尺度特征图中,高级特征语义信息丰富但目标定位粗糙,低级特征定位精确但语义信息有限。传统直接像素求和融合有缺陷,研究中的SFF模块以高级特征为权重筛选低级特征中的关键语义信息。对于输入高级特征$f{high } \in R^{C ×H ×W}f{low } \in R^{C ×H{1} ×W{1}}$,先对高级特征用步长为2、卷积核为3 x3的转置卷积扩展,再用双线性插值统一维度得到$f{att } \in R^{C ×H{1} ×W{1}}$,经 CA 模块将高级特征转为注意力权重过滤低级特征,最后融合得到$f{out } \in R^{C ×H{1} ×W{1}}fatt=BL(TConv(fhigh))$fout=flowCA(fatt)+fatt

在这里插入图片描述

2.3 作用

HS-FPN能够利用通道注意力模块,以高级语义特征为权重过滤低级特征,并将筛选后的特征与高级特征逐点相加,实现多尺度特征融合,从而提高模型的特征表达能力,有助于检测到细微特征,增强模型的检测能力。

论文:https://arxiv.org/pdf/2212.11677
源码:https://github.com/Barrett-python/DuAT

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145254710

目录
打赏
0
11
11
0
160
分享
相关文章
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
113 9
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
90 3
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
78 17
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
70 19
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
RT-DETR改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题
RT-DETR改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题
135 20
RT-DETR改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
140 11
YOLOv11改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
58 11
RT-DETR改进策略【Neck】| 2023 显式视觉中心EVC 优化特征提取金字塔,对密集预测任务非常有效
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
84 15
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
96 11
YOLOv11改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升
72 10
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升