RT-DETR改进策略【卷积层】| RCS-OSA 通道混洗的重参数化卷积 二次创新ResNetLayer

简介: RT-DETR改进策略【卷积层】| RCS-OSA 通道混洗的重参数化卷积 二次创新ResNetLayer

一、本文介绍

本文记录的是利用RCS-OSA模块优化RT-DETR的目标检测网络模型RCS-OSA的全称为Reparameterized Convolution based on channel Shuffle - One - Shot Aggregation,即基于通道混洗的重参数化卷积 - 一次性聚合优势在于RCS模块的重复堆叠确保了特征的重用,并增强了相邻层特征之间不同通道的信息流,从而可以提取更丰富的特征信息,并降低了内存访问成本。本文将深入分析RCS-OSA模块的特点,结合RT-DETR,实现精准涨点。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、RCS-OSA介绍

RCS-YOLO: A Fast and High-Accuracy Object Detector for Brain Tumor Detection

为克服DenseNet中密集连接的低效问题,同时为了在YOLO架构中更好地进行特征提取和信息融合,提高计算效率和检测性能,设计了RCS-OSA模块

2.1 原理

2.1.1 OSA模块

One-Shot Aggregation (OSA)模块通过用多感受野表示多样化特征,并在最后特征图中仅聚合一次所有特征来克服DenseNet的低效。

2.1.2 RCS模块

RCSOSA结合,RCS模块的重复堆叠确保了特征的重用,并增强了相邻层特征之间不同通道的信息流。

在这里插入图片描述

RCS的结构。(a)培训阶段的RepVGG。(b)模型推理(或部署)期间的RepConv。带有黑色外边框的矩形表示张量的特定模操作;渐变颜色的矩形表示张量的特定特征,矩形的宽度表示张量的通道。

2.2 结构

(1). 通道拆分与多分支构建

  • 给定输入张量的特征维度为$C\times H\times W$,经过通道拆分操作(channel split operator)后,被分成两个维度相等($C\times H\times W$)的不同通道方向的张量。
  • 对于其中一个张量,使用恒等分支(identity branch)、$1\times1$卷积和$3\times3$卷积来构建训练时的RCS。

(2). 结构重参数化

  • 在推理阶段,恒等分支、$1\times1$卷积和$3\times3$卷积通过结构重参数化被转换为$3\times3$的RepConv。这种多分支拓扑架构在训练时可以学习丰富的特征信息,而简化的单分支架构在推理时可以节省内存消耗,实现快速推理。

(3). 通道拼接与通道混洗

  • 对其中一个张量进行多分支训练后,将其与另一个张量以通道方式拼接(concatenated in a channel - wise manner)。
  • 同时应用通道混洗操作(channel shuffle operator)来增强两个张量之间的信息融合,使得能够以较低的计算复杂度实现输入的不同通道特征之间的深度测量。

在这里插入图片描述

2.3 优势

  • 语义信息提取:在骨干网络和颈部网络的不同阶段使用不同数量的堆叠RCS实现语义信息提取。
  • 降低内存成本:保持相同数量的输入通道和最少的输出通道,从而降低内存访问成本(MAC)。
  • 提高计算效率:与Efficient Layer Aggregation Networks (ELAN)相比,FLOPs降低近50%,MAC也降低,实现了高精度快速推理。

论文:https://arxiv.org/ftp/arxiv/papers/2307/2307.16412.pdf
源码:https://github.com/mkang315/RCS-YOLO

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144057189

目录
相关文章
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
69 19
RT-DETR改进策略【Conv和Transformer】| GRSL-2024最新模块 卷积和自注意力融合模块 CAFM 减少图像中的噪声干扰
|
1月前
|
计算机视觉
RT-DETR改进策略【卷积层】| SAConv 可切换的空洞卷积 二次创新ResNetLayer
RT-DETR改进策略【卷积层】| SAConv 可切换的空洞卷积 二次创新ResNetLayer
59 12
RT-DETR改进策略【卷积层】| SAConv 可切换的空洞卷积 二次创新ResNetLayer
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含ResNetLayer二次独家创新
RT-DETR改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含ResNetLayer二次独家创新
58 13
RT-DETR改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含ResNetLayer二次独家创新
|
1月前
|
机器学习/深度学习 编解码 计算机视觉
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
51 9
RT-DETR改进策略【卷积层】| ICCV-2023 SAFM 空间自适应特征调制模块 对ResNetLayer进行二次创新
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【卷积层】| CVPR-2023 SCConv 空间和通道重建卷积:即插即用,减少冗余计算并提升特征学习
RT-DETR改进策略【卷积层】| CVPR-2023 SCConv 空间和通道重建卷积:即插即用,减少冗余计算并提升特征学习
47 11
RT-DETR改进策略【卷积层】| CVPR-2023 SCConv 空间和通道重建卷积:即插即用,减少冗余计算并提升特征学习
|
1月前
|
机器学习/深度学习 编解码 知识图谱
RT-DETR改进策略【卷积层】| HWD,引入`Haar小波变换`到下采样模块中,减少信息丢失
RT-DETR改进策略【卷积层】| HWD,引入`Haar小波变换`到下采样模块中,减少信息丢失
73 11
RT-DETR改进策略【卷积层】| HWD,引入`Haar小波变换`到下采样模块中,减少信息丢失
|
1月前
|
机器学习/深度学习 测试技术 网络架构
RT-DETR改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新ResNetLayer
RT-DETR改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新ResNetLayer
41 10
RT-DETR改进策略【卷积层】| NeurIPS-2022 ParNet 即插即用模块 二次创新ResNetLayer
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
RT-DETR改进策略【卷积层】| 利用MobileNetv4中的UIB、ExtraDW优化ResNetLayer
RT-DETR改进策略【卷积层】| 利用MobileNetv4中的UIB、ExtraDW优化ResNetLayer
67 12
RT-DETR改进策略【卷积层】| 利用MobileNetv4中的UIB、ExtraDW优化ResNetLayer
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【卷积层】| CVPR-2021 多样分支块DBB,替换下采样模块 并二次创新ResNetLayer
RT-DETR改进策略【卷积层】| CVPR-2021 多样分支块DBB,替换下采样模块 并二次创新ResNetLayer
54 6
RT-DETR改进策略【卷积层】| CVPR-2021 多样分支块DBB,替换下采样模块 并二次创新ResNetLayer
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升
70 10
RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv,关注感受野空间特征 助力RT-DETR精度提升