RT-DETR改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题

简介: RT-DETR改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题

一、本文介绍

本文主要利用DuAT中的SBA 模块优化 RT-DETR的目标检测网络模型SBA 模块借鉴了医疗图像分割中处理边界信息的独特思路,通过创新性的结构设计,在维持合理计算复杂度的基础上,巧妙融合浅层的边界细节特征与深层的语义信息,实现边界特征的精准提取与语义信息的有效整合。将其应用于RT-DETR的改进过程中,能够使模型着重聚焦于目标物体的边界区域,降低背景及其他无关信息的影响,强化目标物体的边界特征表达,从而提升模型在复杂场景下对目标物体的检测精度与定位准确性。


专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、SBA介绍

DuAT: Dual-Aggregation Transformer Network for Medical Image Segmentation

SBA 模块在医疗图像分割中具有重要作用,其设计出发点是解决图像中物体边界模糊以及融合特征时的冗余和不一致问题。

2.1 出发点

医疗图像存在物体边界模糊的问题,且以往直接融合低层次和高层次特征会导致冗余和不一致。浅层特征细节丰富但语义少、边界清晰,深层特征语义丰富。为了更好地描绘物体轮廓和重新校准物体位置,需要一种更有效的特征聚合方式。

2.2 结构原理

设计了新颖的重新校准注意力单元(RAU)块

  • 它在融合前自适应地从两个输入($F^{s}$,$F^{b}$)中选取相互表示。浅层和深层信息以不同方式输入到两个 RAU 块,其中$F^{s}$是融合编码器第三和第四层后的深层语义信息,$F^{b}$是来自骨干网络的第一层具有丰富边界细节的信息。
  • 两个 RAU 块的输出经过 3×3 卷积后进行拼接。
  • RAU 块函数$PAU(\cdot,\cdot)$过程为:先对输入特征$T{1}$,$T{2}$应用线性映射和 sigmoid 函数$W{\theta}(\cdot)$,$W{\phi}(\cdot)$将通道维度降为 32 得到特征图$T{1}'$和$T{2}'$,然后通过特定公式计算得到最终结果。

在这里插入图片描述

2.3 作用

通过选择性地聚合边界信息和语义信息能够更精细地描绘物体轮廓和确定重新校准物体的位置,有效解决边界模糊问题,提高模型对物体边界的分割精度,从而提升整体模型的性能。

论文:https://arxiv.org/pdf/2212.11677
源码:https://github.com/Barrett-python/DuAT

三、实现代码及RT-DETR修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/145252062

目录
相关文章
|
1月前
|
计算机视觉
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
77 17
RT-DETR改进策略【Neck】| TPAMI 2024 FreqFusion 频域感知特征融合模块 解决密集图像预测问题
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
79 10
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
|
1月前
|
机器学习/深度学习 C语言 计算机视觉
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
57 11
RT-DETR改进策略【Neck】| HS-FPN:高级筛选特征融合金字塔,加强细微特征的检测
|
1月前
|
计算机视觉 Perl
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
83 15
RT-DETR改进策略【卷积层】| CVPR-2024 PKI Module 获取多尺度纹理特征,适应尺度变化大的目标
|
1月前
|
机器学习/深度学习 编解码 测试技术
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
38 2
RT-DETR改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
|
1月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
RT-DETR改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
34 2
RT-DETR改进策略【注意力机制篇】| 2023 MCAttention 多尺度交叉轴注意力 获取多尺度特征和全局上下文信息
|
1月前
|
计算机视觉
YOLOv11改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题
YOLOv11改进策略【Neck】| PRCV 2023,SBA(Selective Boundary Aggregation):特征融合模块,描绘物体轮廓重新校准物体位置,解决边界模糊问题
91 11
|
1月前
|
机器学习/深度学习 编解码 测试技术
YOLOv11改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
YOLOv11改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
134 0
YOLOv11改进策略【注意力机制篇】| WACV-2024 D-LKA 可变形的大核注意 针对大尺度、不规则的目标图像
|
8月前
|
机器学习/深度学习 编解码 PyTorch
【YOLOv8改进】HWD: Haar小波降采样,用于语义分割的降采样模块,减少特征图的空间分辨率
YOLOv8专栏探讨了卷积网络的改进,特别是提出了一种名为HWD的基于Haar小波的下采样模块,用于语义分割,旨在保留更多空间信息。HWD结合了无损编码和特征表示学习,提高了模型性能并减少了信息不确定性。新度量标准FEI量化了下采样的信息保留能力。论文和代码可在提供的链接中找到。核心代码展示了如何在PyTorch中实现HWD模块。
|
10月前
|
机器学习/深度学习 文字识别 算法
[Halcon&图像] 基于多层神经网络MLP分类器的思想提取颜色区域
[Halcon&图像] 基于多层神经网络MLP分类器的思想提取颜色区域
223 0