RT-DETR改进策略【卷积层】| RCS-OSA 通道混洗的重参数化卷积 二次创新ResNetLayer

简介: RT-DETR改进策略【卷积层】| RCS-OSA 通道混洗的重参数化卷积 二次创新ResNetLayer

一、本文介绍

本文记录的是利用RCS-OSA模块优化RT-DETR的目标检测网络模型RCS-OSA的全称为Reparameterized Convolution based on channel Shuffle - One - Shot Aggregation,即基于通道混洗的重参数化卷积 - 一次性聚合优势在于RCS模块的重复堆叠确保了特征的重用,并增强了相邻层特征之间不同通道的信息流,从而可以提取更丰富的特征信息,并降低了内存访问成本。本文将深入分析RCS-OSA模块的特点,结合RT-DETR,实现精准涨点。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、RCS-OSA介绍

RCS-YOLO: A Fast and High-Accuracy Object Detector for Brain Tumor Detection

为克服DenseNet中密集连接的低效问题,同时为了在YOLO架构中更好地进行特征提取和信息融合,提高计算效率和检测性能,设计了RCS-OSA模块

2.1 原理

2.1.1 OSA模块

One-Shot Aggregation (OSA)模块通过用多感受野表示多样化特征,并在最后特征图中仅聚合一次所有特征来克服DenseNet的低效。

2.1.2 RCS模块

RCSOSA结合,RCS模块的重复堆叠确保了特征的重用,并增强了相邻层特征之间不同通道的信息流。

在这里插入图片描述

RCS的结构。(a)培训阶段的RepVGG。(b)模型推理(或部署)期间的RepConv。带有黑色外边框的矩形表示张量的特定模操作;渐变颜色的矩形表示张量的特定特征,矩形的宽度表示张量的通道。

2.2 结构

(1). 通道拆分与多分支构建

  • 给定输入张量的特征维度为$C\times H\times W$,经过通道拆分操作(channel split operator)后,被分成两个维度相等($C\times H\times W$)的不同通道方向的张量。
  • 对于其中一个张量,使用恒等分支(identity branch)、$1\times1$卷积和$3\times3$卷积来构建训练时的RCS。

(2). 结构重参数化

  • 在推理阶段,恒等分支、$1\times1$卷积和$3\times3$卷积通过结构重参数化被转换为$3\times3$的RepConv。这种多分支拓扑架构在训练时可以学习丰富的特征信息,而简化的单分支架构在推理时可以节省内存消耗,实现快速推理。

(3). 通道拼接与通道混洗

  • 对其中一个张量进行多分支训练后,将其与另一个张量以通道方式拼接(concatenated in a channel - wise manner)。
  • 同时应用通道混洗操作(channel shuffle operator)来增强两个张量之间的信息融合,使得能够以较低的计算复杂度实现输入的不同通道特征之间的深度测量。

在这里插入图片描述

2.3 优势

  • 语义信息提取:在骨干网络和颈部网络的不同阶段使用不同数量的堆叠RCS实现语义信息提取。
  • 降低内存成本:保持相同数量的输入通道和最少的输出通道,从而降低内存访问成本(MAC)。
  • 提高计算效率:与Efficient Layer Aggregation Networks (ELAN)相比,FLOPs降低近50%,MAC也降低,实现了高精度快速推理。

论文:https://arxiv.org/ftp/arxiv/papers/2307/2307.16412.pdf
源码:https://github.com/mkang315/RCS-YOLO

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/144057189

相关文章
|
安全 网络安全
Foxmail邮箱提示错误:ssl连接错误,errorCode:5解决方法
Foxmail邮箱提示错误:ssl连接错误,errorCode:5解决方法
9865 0
|
7月前
|
机器学习/深度学习 人工智能 前端开发
构建AI智能体:七十、小树成林,聚沙成塔:随机森林与大模型的协同进化
随机森林是一种基于决策树的集成学习算法,通过构建多棵决策树并结合它们的预测结果来提高准确性和稳定性。其核心思想包括两个随机性:Bootstrap采样(每棵树使用不同的训练子集)和特征随机选择(每棵树分裂时只考虑部分特征)。这种方法能有效处理大规模高维数据,避免过拟合,并评估特征重要性。随机森林的超参数如树的数量、最大深度等可通过网格搜索优化。该算法兼具强大预测能力和工程化优势,是机器学习中的常用基础模型。
1295 165
|
12月前
|
数据挖掘 数据库 Python
Django实战:基于Django和openpyxl实现Excel导入导出功能
`openpyxl` 是用于处理 Excel 文件的 Python 库。本文详解其在 Django 项目中的实战应用,涵盖 Excel 文件的生成、下载、上传与解析。
434 0
Django实战:基于Django和openpyxl实现Excel导入导出功能
|
8月前
|
运维 监控 数据可视化
低代码之后,是什么在真正决定软件交付的天花板?
过去五年,低代码热潮席卷行业,但2026年将成为分水岭:客户从“做项目”转向“做产品线”,政策强调可复制的数字底座,技术倒逼平台升级。单纯拼页面的低代码难以为继,真正决胜未来的是企业级产品化引擎——它以统一元模型、全栈设计、可复用资产和标准化交付链路,将软件从一次性工程变为可持续演进的产品生产线。未来竞争不在“多快搭系统”,而在“能否支撑十年演进”。
317 0
|
机器学习/深度学习 算法 计算机视觉
【YOLOv8改进 - 注意力机制】RCS-OSA :减少通道的空间对象注意力,高效且涨点
YOLOv8专栏探讨了YOLO系列的创新改进,提出RCS-YOLO模型,它在脑肿瘤检测中超越YOLOv6/v7/v8,精度提升1%,速度增快60%(达到114.8 FPS)。RCS-OSA模块结合RepVGG/ShuffleNet优点,通过通道重参数化和混洗优化卷积,提升速度和准确性。代码和论文可在提供的链接获取。
|
SQL JSON 大数据
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
这篇文章是Elasticsearch的进阶使用指南,涵盖了Search API的两种检索方式、Query DSL的基本语法和多种查询示例,包括全文检索、短语匹配、多字段匹配、复合查询、结果过滤、聚合操作以及Mapping的概念和操作,还讨论了Elasticsearch 7.x和8.x版本中type概念的变更和数据迁移的方法。
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
|
机器学习/深度学习 编解码 数据可视化
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR ConvNeXt V2 (附网络详解和完整配置步骤)
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR ConvNeXt V2 (附网络详解和完整配置步骤)
1109 11
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR ConvNeXt V2 (附网络详解和完整配置步骤)
|
机器学习/深度学习 算法
如何在SVM中应用核函数
如何在SVM中应用核函数
595 17
|
IDE 开发工具 Windows
idea和webstorm性能优化
本文介绍了如何优化IDE(如IntelliJ IDEA和WebStorm)的性能。当IDE检测到启用实时保护的Microsoft Defender时,可能会影响性能。文章提供了自动或手动配置Defender排除列表的方法,通过将项目路径添加到排除列表中,可以显著提升IDE性能。按照步骤操作,确保以管理员身份运行IDE,以实现最佳效果。
783 1
idea和webstorm性能优化
|
存储 数据可视化 数据挖掘
使用Matlab绘制简单的二维与三维图形
【10月更文挑战第3天】本文详细介绍了如何在 Matlab 中绘制简单的二维和三维图形,包括曲线图、柱状图、散点图、网格图、表面图、等高线图、多边形填充图、切片图及矢量场等。文章提供了丰富的代码示例,如使用 `plot`、`bar`、`scatter`、`plot3`、`mesh`、`surf`、`contour` 等函数绘制不同类型图形的方法,并介绍了 `rotate3d`、`comet3` 和 `movie` 等工具实现图形的交互和动画效果。通过这些示例,读者可以轻松掌握 Matlab 的绘图技巧,并应用于数据可视化和分析中。