RT-DETR改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互

简介: RT-DETR改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互

一、本文介绍

本文记录的是基于FCAttention模块的RT-DETR目标检测改进方法研究FCAttention是图像去雾领域新提出的模块能够==有效整合全局和局部信息、合理分配权重的通道注意力机制,使得网络能够更准确地强调有用特征,抑制不太有用的特征==,在目标检测领域中同样有效。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、FCA原理

用于图像去雾的无监督双向对比重建和自适应细粒度通道注意网络

FCA(Adaptive Fine - Grained Channel Attention)模块设计的原理及优势如下:

2.1 原理

  • 特征图处理:首先,对包含全局空间信息的特征图F进行全局平均池化,将其转换为通道描述符U,用于获取通道信息。具体公式为:$U{n}=GAP(F{n})=\frac{1}{H×W}\sum{i=1}^{H}\sum{j=1}^{W}F_{n}(i, j)$,其中$F \in \mathbb{R}^{C×H×W}$,$C$、$H$和$W$分别代表通道数、长度和宽度,$U \in \mathbb{R}^{C}$,$GAP(x)$为全局平均 pooling 函数。
  • 局部信息获取:为了在获取少量模型参数的同时获得局部通道信息,使用带矩阵B进行局部通道交互,设置$B=[b{1}, b{2}, b{3},..., b{k}]$,通过$U{lc}=\sum{i=1}^{k}U\cdot b{i}$计算局部信息$U{lc}$,其中$U$为通道描述符,$k$为相邻通道数。
  • 全局信息获取:利用对角矩阵D捕获所有通道之间的依赖关系作为全局信息,设置$D=[d{1}, d{2}, d{3},..., d{c}]$,通过$U{gc}=\sum{i=1}^{c}U\cdot d{i}$计算全局信息$U{gc}$,其中$c$为通道数。
  • 相关性捕获:通过交叉相关操作将全局信息$U{gc}$与局部信息$U{lc}$相结合,得到相关性矩阵$M = U{gc}\cdot U{lc}^{T}$,以捕获两者在不同粒度上的相关性。
  • 自适应融合:从相关性矩阵及其转置中提取行和列信息作为全局和局部信息的权重向量,通过可学习因子实现动态融合。具体公式为:$U{gc}^{w}=\sum{j}^{c}M{i, j}, i \in 1,2,3...c$,$U{lc}^{w}=\sum{j}^{c}(U{lc}\cdot U{gc}^{T}){i, j}=\sum{j}^{c}M^{T}{i, j}, i \in 1,2,3...c$,$W=\sigma(\sigma(\theta)×\sigma(U{gc}^{w})+(1 - \sigma(\theta))×\sigma(U{lc}^{w}))$,其中$U{gc}^{w})和(U{lc}^{w}$为融合后的全局和局部通道权重,$\theta$表示sigmoid激活函数。
  • 权重应用:将得到的权重与输入特征图相乘,得到最终输出特征图,即$\tau^{ }=W \otimes F$,其中$F$为输入特征图,$F^{ }$为最终输出特征图。

在这里插入图片描述

2.2 优势

  • 有效整合信息:能够有效整合全局和局部信息,通过相关性矩阵捕获两者在不同粒度上的相关性,促进了全局和局部信息的有效交互。
  • 合理分配权重:采用自适应融合策略,避免了局部和全局信息之间冗余的交叉相关操作,进一步促进了它们的交互,能够更精确地为去雾相关特征分配权重。
  • 提升去雾性能:在网络去雾过程中,充分利用全局和局部通道信息,提高了网络去雾性能,使得网络能够更准确地强调有用特征,抑制不太有用的特征。

论文:https://doi.org/10.1016/j.neunet.2024.106314
源码:https://github.com/Lose-Code/UBRFC-Net

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144129420

相关文章
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
485 3
RT-DETR改进策略【Neck】| ASF-YOLO 注意力尺度序列融合模块改进颈部网络,提高小目标检测精度
|
计算机视觉
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
本文探讨了基于AIFI模块的YOLOv11目标检测改进方法。AIFI是RT-DETR中高效混合编码器的一部分,通过在S5特征层上应用单尺度Transformer编码器,减少计算成本并增强概念实体间的联系,从而提升对象定位和识别效果。实验表明,AIFI使模型延迟降低35%,准确性提高0.4%。
1688 20
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
|
编解码 异构计算
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
1174 10
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
机器学习/深度学习 编解码 测试技术
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
383 2
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
|
计算机视觉
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
462 4
RT-DETR改进策略【卷积层】| 2024最新轻量级自适应提取模块 LAE 即插即用 保留局部信息和全局信息
|
机器学习/深度学习 编解码 计算机视觉
RT-DETR改进策略【卷积层】| ECCV-2024 小波卷积WTConv 增大感受野,降低参数量计算量,独家创新助力涨点
RT-DETR改进策略【卷积层】| ECCV-2024 小波卷积WTConv 增大感受野,降低参数量计算量,独家创新助力涨点
599 9
RT-DETR改进策略【卷积层】| ECCV-2024 小波卷积WTConv 增大感受野,降低参数量计算量,独家创新助力涨点
|
机器学习/深度学习 资源调度 Java
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
711 1
YOLOv11改进策略【注意力机制篇】| 2024 SCI TOP FCAttention 即插即用注意力模块,增强局部和全局特征信息交互
RT-DETR改进策略【损失函数篇】| 通过辅助边界框计算IoU提升检测效果(Inner_GIoU、Inner_DIoU、Inner_CIoU、Inner_EIoU、Inner_SIoU)
RT-DETR改进策略【损失函数篇】| 通过辅助边界框计算IoU提升检测效果(Inner_GIoU、Inner_DIoU、Inner_CIoU、Inner_EIoU、Inner_SIoU)
771 0
RT-DETR改进策略【损失函数篇】| 通过辅助边界框计算IoU提升检测效果(Inner_GIoU、Inner_DIoU、Inner_CIoU、Inner_EIoU、Inner_SIoU)
|
并行计算 PyTorch Shell
YOLOv11改进策略【Neck】| 有效且轻量的动态上采样算子:DySample
YOLOv11改进策略【Neck】| 有效且轻量的动态上采样算子:DySample
1435 11
YOLOv11改进策略【Neck】| 有效且轻量的动态上采样算子:DySample