RT-DETR改进策略【注意力机制篇】| 2024 PPA 并行补丁感知注意模块,提高小目标关注度

简介: RT-DETR改进策略【注意力机制篇】| 2024 PPA 并行补丁感知注意模块,提高小目标关注度

一、本文介绍

本文记录的是利用PPA (并行补丁感知注意模块)改进RT-DETR检测精度,详细说明了优化原因,注意事项等。原论文在红外小目标检测任务中,小目标在多次下采样操作中容易丢失关键信息。PPA模块==通过替代编码器和解码器基本组件中的传统卷积操作,更好地保留小目标的重要信息。==


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、PPA 介绍

HCF-Net: Hierarchical Context Fusion Network for Infrared Small Object Detection

2.1 原理

2.1.1 多分支特征提取原理

采用多分支特征提取策略,通过不同分支提取不同尺度和层次的特征。利用局部、全局和串行卷积分支,对输入特征张量进行处理。通过控制 patch size参数实现局部和全局分支的区分,计算非重叠 patch之间的注意力矩阵,实现局部和全局特征提取与交互。在特征提取过程中,还通过一系列操作对特征进行选择和调整权重,最终将三个分支的结果求和得到融合后的特征。

2.1.2 特征融合和注意力原理

在多分支特征提取后,利用注意力机制进行自适应特征增强。注意力模块包括高效的通道注意力和空间注意力组件。首先通过一维通道注意力图和二维空间注意力图对特征进行依次处理,然后经过一系列激活函数、批归一化和 dropout等操作,得到最终输出。

2.2 结构

2.2.1 多分支特征提取结构

  • 主要由多分支融合和注意力机制两部分组成。多分支融合部分包括 patch - aware和串联卷积。patch - aware中的参数p设置为2和4,分别代表局部和全局分支。对于输入特征张量F,先通过点式卷积调整得到F',然后通过三个分支分别计算F_localF_globalF_conv,最后将这三个结果求和得到\tilde{F}

2.2.2 特征融合和注意力结构

  • 包括通道注意力和空间注意力组件。\tilde{F}依次经过一维通道注意力图M_c和二维空间注意力图M_s的处理,通过元素级乘法和后续的激活函数、批归一化等操作,最终得到PPA的输出F''

在这里插入图片描述

  1. 优势
    • 多分支特征提取优势:通过多分支策略能够捕获对象的多尺度特征,提高了小目标检测的准确性。不同分支可以关注到不同尺度和层次的信息,避免了单一尺度下可能丢失的小目标特征。
    • 特征融合和注意力优势:利用注意力机制可以自适应地增强特征,突出小目标的关键信息。通道注意力和空间注意力的结合能够更好地选择和聚焦于与小目标相关的特征,提高网络对小目标的表征能力。

论文:https://arxiv.org/pdf/2403.10778
源码:https://github.com/zhengshuchen/HCFNet

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144141100

相关文章
|
机器学习/深度学习 资源调度 算法
YOLOv11改进策略【损失函数篇】| 引入Soft-NMS,提升密集遮挡场景检测精度,包括GIoU-NMS、DIoU-NMS、CIoU-NMS、SIoU-NMS、 EIou-NMS
YOLOv11改进策略【损失函数篇】| 引入Soft-NMS,提升密集遮挡场景检测精度,包括GIoU-NMS、DIoU-NMS、CIoU-NMS、SIoU-NMS、 EIou-NMS
4785 6
Conda base环境离线升级 python 版本
Conda base环境离线升级 python 版本
Conda base环境离线升级 python 版本
|
传感器 人工智能 安全
智能窗户:自动调节光线与温度的玻璃
【10月更文挑战第20天】智能窗户通过内置传感器和控制系统,自动调节光线与温度,提升家居舒适度并实现节能减排。本文探讨其基本原理、技术创新、实际应用及未来发展趋势,展示这一高科技产品如何改变我们的生活方式。
|
机器学习/深度学习 数据采集 自然语言处理
【Conv】万金油一样的卷积层!使用卷积层替代全连接层与池化层
【Conv】万金油一样的卷积层!使用卷积层替代全连接层与池化层
1082 1
|
小程序
uniapp uni.navigateTo传递(对象类型)参数
uniapp uni.navigateTo传递(对象类型)参数
|
存储 缓存 JSON
swc与Turbopack
本文适合对新主流技术感兴趣的小伙伴阅读
|
小程序 安全 前端开发
ssm+vue基本微信小程序的奶茶点单系统
随着Internet的发展,人们的日常生活已经离不开网络。未来人们的生活与工作将变得越来越数字化、网络化和电子化。本文以实际运用为开发背景,运用软件工程原理和开发方法,它主要是采用java语言技术、ssm框架和微信小程序来完成对系统的设计。整个开发过程首先对奶茶点单小程序进行需求分析,得出奶茶点单小程序主要功能。接着对奶茶点单小程序进行总体设计和详细设计。总体设计主要包括小程序功能设计、小程序总体结构设计、小程序数据结构设计和小程序安全设计等;详细设计主要包括奶茶点单小程序数据库访问的实现,主要功能模块的具体实现,模块实现关键代码等。最后对奶茶点单小程序进行了功能测试,并对测试结果进行了分析总
694 0
|
小程序 API 开发者
微信小程序授权登录流程以及应用到的API
微信小程序授权登录流程以及应用到的API
1025 0
|
NoSQL Linux Redis
CentOS 7.6安装 Redis-6.2.5
CentOS 7.6安装 Redis-6.2.5
516 0
CentOS 7.6安装 Redis-6.2.5