一、本文介绍
本文记录的是基于UniRepLKNet的RT-DETR骨干网络改进方法研究。UniRepLKNet提出了独特的大核设计能有效捕捉图像特征，在多模态任务中展现出强大的通用感知能力。将UniRepLKNet应用到RT-DETR的骨干网络中，提升RT-DETR在目标检测任务中的精度和效率 。
本文在RT-DETR的基础上配置了原论文中unireplknet_a, unireplknet_f, unireplknet_p, unireplknet_n, unireplknet_t, unireplknet_s, unireplknet_b, unireplknet_l, unireplknet_xl九种模型，以满足不同的需求。
专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！
二、UniRepLKNet原理介绍
UniRepLKNet: A Universal Perception Large-Kernel ConvNet for Audio, Video, Point Cloud, Time-Series and Image Recognition
UniRepLKNet是一种通用感知大核卷积神经网络，其模型结构设计旨在解决现有大核卷积神经网络存在的问题，并探索卷积神经网络在多模态领域的通用感知能力。以下从设计出发点、结构原理和优势三方面进行详细介绍：
2.1 设计出发点
- 大核卷积神经网络架构设计不足：现有大核卷积神经网络架构大多遵循传统卷积神经网络或Transformer的设计原则，缺乏针对大核特性的专门设计。例如，RepLKNet 遵循 Swin Transformer 的架构，SLaK 遵循 ConvNeXt 的架构，这种简单沿用其他模型架构的方式，没有充分挖掘大核卷积神经网络的潜力。
- 探索卷积神经网络在多模态领域的通用感知能力：Transformer在多种模态中展现出通用感知能力，而卷积神经网络在视觉领域以外的通用感知能力有待研究。因此，研究希望探索大核卷积神经网络是否能在音频、视频、点云、时间序列等非视觉领域取得良好效果。
2.2 结构原理
- 架构准则：提出四条架构准则。
- 准则一是使用如SE Block等高效结构增加深度，该结构能同时进行通道间通信和空间聚合，提升模型的表示能力 ；
- 准则二是使用扩张重参数化块（Dilated Reparam Block）对大核进行重参数化，通过并行的扩张小核卷积层增强大核捕捉稀疏模式的能力，且在推理时可将整个块等效转换为单个非扩张卷积层，避免额外推理成本。
- 准则三是根据下游任务决定内核大小，通常在中高级层使用大内核，不同阶段使用不同大小内核会影响模型性能，需根据具体任务和框架选择合适的内核大小。
- 准则四是在增加深度时，添加的块应使用小内核，通过实验表明，小内核在增加空间模式的抽象层次方面有重要作用，能在扩大感受野的同时提高模型性能。
- Dilated Reparam Block：该模块使用非扩张小核和多个扩张小核卷积层增强非扩张大核卷积层。在训练时，大核与并行的小核（包括扩张小核）卷积层同时工作，小核有助于捕捉小规模模式，扩张小核可增强大核捕捉稀疏模式的能力。训练后，通过结构重参数化方法，将批归一化（BN）层合并到卷积层中，并将扩张卷积层等效转换为非扩张的大核卷积层，以减少推理成本。
2.3 整体架构
- 由多个阶段组成，阶段之间通过下采样块（由步长为2的密集3×3卷积层实现）进行连接。
- 每个阶段包含了不同的块，如LarK Block（大核块）和SmaK Block（小核块）。
- 一个LarK Block由一个Dilated Reparam Block（扩张重参数块）、一个SE Block（挤压与激励块）、FFN（前馈神经网络）和BN（批归一化）层构成。
- Dilated Reparam Block的作用是通过使用非扩张的小核和多个扩张的小核层来增强非扩张大核卷积层，它利用了大核能够在不增加深度的情况下看到更宽范围的特点。其超参数包括大核的大小K、并行卷积层的大小k以及扩张率r，通过灵活设置这些参数，可以更好地捕捉不同尺度的特征。
- SE Block用于实现高效的结构，以增加深度，它通过全局平均池化和非线性映射来实现通道间的通信和空间聚合。
- 大核和小核的主要区别在于：SmaK Block使用深度可分离的3×3卷积层来替代LarK Block中的Dilated Reparam Block。
2.4 优势
- 图像识别性能领先：在ImageNet分类、COCO对象检测和ADE20K语义分割等任务上，UniRepLKNet均取得领先性能，在精度和效率上优于RepLKNet、SLaK等现有大核卷积神经网络，以及ConvNeXt V2、FastViT、Swin V2和DeiT III等模型。
- 多模态通用感知能力出色：在时间序列预测、音频识别、视频识别和点云分析等任务中，UniRepLKNet均取得了优异的成绩。
- 更高的形状偏差：UniRepLKNet比现有卷积神经网络和Transformer具有更高的形状偏差，即其预测更多基于物体的整体形状而非纹理，这与人类视觉系统更相符，有助于模型在下游任务中表现更优。
论文：https://arxiv.org/abs/2311.15599
源码：https://github.com/AILab-CVC/UniRepLKNet
三、实现代码及RT-DETR修改步骤
模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址：
