超越YOLOv10/11、RT-DETRv2/3!中科大D-FINE重新定义边界框回归任务

简介: 中科大研究团队提出了一种新型目标检测器D-FINE,通过重新定义边界框回归任务,实现超越YOLOv10/11和RT-DETRv2/3的性能。D-FINE采用细粒度分布细化(FDR)和全局最优定位自蒸馏(GO-LSD)技术,显著提高了定位精度和检测速度。在COCO数据集上,D-FINE-L/X分别达到54.0%/55.8%的AP,并在NVIDIA T4 GPU上以124/78 FPS运行。

在计算机视觉领域,目标检测一直是研究的热点。近年来,基于深度学习的目标检测算法取得了显著的进展,其中YOLO系列和DETR系列算法尤为突出。然而,这些算法在边界框回归任务上仍存在一定的局限性。为了解决这一问题,中科大的研究团队提出了一种名为D-FINE的新型目标检测器,该检测器通过重新定义边界框回归任务,实现了超越YOLOv10/11、RT-DETRv2/3的性能。

D-FINE的核心思想是将边界框回归任务从预测固定坐标转变为迭代地细化概率分布。具体而言,D-FINE由两个关键组件组成:细粒度分布细化(FDR)和全局最优定位自蒸馏(GO-LSD)。

FDR通过将回归过程从预测固定坐标转变为迭代地细化概率分布,提供了一种细粒度的中间表示,从而显著提高了定位精度。与传统的边界框回归方法相比,FDR能够更准确地捕捉目标的位置和形状信息,从而提高检测性能。

GO-LSD是一种双向优化策略,它通过自蒸馏将细化后的分布中的定位知识传递给较浅的层,同时简化了较深层的残差预测任务。这种双向优化策略不仅提高了模型的定位能力,还减少了模型的计算复杂度,从而实现了速度和精度的平衡。

为了验证D-FINE的性能,研究团队在COCO数据集上进行了实验。实验结果表明,D-FINE-L/X在COCO数据集上分别达到了54.0%/55.8%的AP,并在NVIDIA T4 GPU上以124/78 FPS的速度运行。当在Objects365数据集上进行预训练时,D-FINE-L/X的性能进一步提升,分别达到了57.1%/59.3%的AP,超越了所有现有的实时检测器。

此外,研究团队还对D-FINE在不同DETR模型上的性能进行了评估。结果表明,D-FINE能够显著提高各种DETR模型的性能,最高可提升5.3%的AP,且额外参数和训练成本几乎可以忽略不计。

D-FINE的优势主要体现在以下几个方面:

  1. 定位精度高:通过重新定义边界框回归任务,D-FINE能够更准确地捕捉目标的位置和形状信息,从而提高检测性能。
  2. 速度与精度平衡:通过引入轻量级优化和双向优化策略,D-FINE在保持高精度的同时,实现了较快的检测速度。
  3. 通用性强:D-FINE能够显著提高各种DETR模型的性能,具有广泛的应用前景。

然而,D-FINE也面临一些挑战:

  1. 计算复杂度:尽管D-FINE通过轻量级优化和双向优化策略减少了计算复杂度,但在实际应用中,仍需要考虑计算资源的限制。
  2. 数据依赖性:D-FINE的性能高度依赖于训练数据的质量和数量。在实际应用中,如何获取高质量的训练数据是一个重要的问题。
  3. 模型泛化能力:尽管D-FINE在COCO和Objects365等数据集上表现出色,但在其他数据集上的性能仍有待验证。

论文地址: https://arxiv.org/abs/2410.13842

目录
相关文章
|
机器学习/深度学习 编解码
ICCV2023 | SRFormer:基于置换自注意力的图像超分辨率
ICCV2023 | SRFormer:基于置换自注意力的图像超分辨率
779 0
|
算法 计算机视觉 异构计算
目标检测的Tricks | 【Trick7】数据增强——Mosaic(马赛克)
目标检测的Tricks | 【Trick7】数据增强——Mosaic(马赛克)
3952 0
目标检测的Tricks | 【Trick7】数据增强——Mosaic(马赛克)
|
7月前
|
机器学习/深度学习 传感器 编解码
DINOv3上手指南:改变视觉模型使用方式,一个模型搞定分割、检测、深度估计
DINOv3是Meta推出的自监督视觉模型,支持冻结主干、仅训练轻量任务头即可在分割、深度估计等任务上达到SOTA,极大降低训练成本。其密集特征质量优异,适用于遥感、工业检测等多领域,真正实现“一个模型走天下”。
5214 2
DINOv3上手指南:改变视觉模型使用方式,一个模型搞定分割、检测、深度估计
|
机器学习/深度学习 PyTorch TensorFlow
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
791 11
RT-DETR改进策略【卷积层】| SPD-Conv 针对小目标和低分辨率图像的检测任务
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
RT-DETR改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
1188 10
RT-DETR改进策略【注意力机制篇】| 添加SE、CBAM、ECA、CA、Swin Transformer等注意力和多头注意力机制
|
计算机视觉
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
本文探讨了基于AIFI模块的YOLOv11目标检测改进方法。AIFI是RT-DETR中高效混合编码器的一部分,通过在S5特征层上应用单尺度Transformer编码器,减少计算成本并增强概念实体间的联系,从而提升对象定位和识别效果。实验表明,AIFI使模型延迟降低35%,准确性提高0.4%。
1661 20
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
|
机器学习/深度学习 移动开发 自然语言处理
【YOLOv8改进 - 注意力机制】ContextAggregation : 上下文聚合模块,捕捉局部和全局上下文,增强特征表示
【YOLOv8改进 - 注意力机制】ContextAggregation : 上下文聚合模块,捕捉局部和全局上下文,增强特征表示
|
机器学习/深度学习
RT-DETR改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6
RT-DETR改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6
638 2
RT-DETR改进策略【损失函数篇】| 替换激活函数为Mish、PReLU、Hardswish、LeakyReLU、ReLU6
|
计算机视觉
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
641 9
YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能
|
计算机视觉
YOLOv11改进策略【Neck】| 替换RT-DETR中的CCFF跨尺度特征融合颈部结构,优化计算瓶颈与冗余问题
YOLOv11改进策略【Neck】| 替换RT-DETR中的CCFF跨尺度特征融合颈部结构,优化计算瓶颈与冗余问题
1043 8
YOLOv11改进策略【Neck】| 替换RT-DETR中的CCFF跨尺度特征融合颈部结构,优化计算瓶颈与冗余问题

热门文章

最新文章

下一篇
开通oss服务