【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络

简介: 【YOLOv8改进 - 特征融合NECK】 DAMO-YOLO之RepGFPN :实时目标检测的创新型特征金字塔网络

YOLO目标检测创新改进与实战案例专栏

专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

image-20240621152907389

摘要

在文章中,我们介绍了一种快速且准确的目标检测方法,称为DAMO-YOLO,其性能优于最先进的YOLO系列。DAMO-YOLO在YOLO的基础上扩展了几项新技术,包括神经架构搜索(Neural Architecture Search,NAS)、高效的重参数化通用FPN(RepGFPN)、带有AlignedOTA标签分配的轻量化检测头和蒸馏增强。特别地,我们使用MAE-NAS,这是一种遵循最大熵原则的方法,在低延迟和高性能的约束下搜索检测主干网络,产生了类似ResNet/CSP的结构,结合了空间金字塔池化和聚焦模块。在neck和head的设计中,我们遵循“大neck,小head”的原则。我们引入了加速queen-fusion的通用FPN来构建检测neck,并通过高效层聚合网络(ELAN)和重参数化升级了其CSPNet。然后,我们研究了检测头大小对检测性能的影响,发现具有仅一个任务投影层的重neck可以获得更好的结果。此外,AlignedOTA被提出以解决标签分配中的错位问题,并引入了蒸馏方案来进一步提升性能。

基于这些新技术,我们构建了一套适应不同场景需求的模型。针对一般工业需求,我们提出了DAMO-YOLO-T/S/M/L,这些模型在T4 GPU上的延迟分别为2.78/3.83/5.62/7.95毫秒,在COCO数据集上可实现43.6/47.7/50.2/51.9的mAP。此外,对于计算能力有限的边缘设备,我们还提出了DAMO-YOLO-Ns/Nm/Nl轻量化模型,它们在X86-CPU上的延迟分别为4.08/5.05/6.69毫秒,在COCO数据集上可实现32.3/38.2/40.5的mAP。我们提出的通用和轻量化模型在各自的应用场景中性能优于其他YOLO系列模型。代码可在此处获取。

文章链接

论文地址:论文地址

代码地址:代码地址

基本原理:Large Neck: RepGFPN

在FPN(特征金字塔网络)中,多尺度特征融合旨在聚合不同阶段backbone输出的特征,从而增强输出特征的表达能力,提高模型性能。传统的 FPN 引入自上而下的路径来合并多尺度特征。考虑到单向流量的限制,PAFPN增加了一个额外的自下而上的路径聚合网络,但增加了计算成本。为了降低计算强度,YOLO系列检测网络选择PAFPN和CSPNet来融合主干输出的多尺度特征。

他们在ICLR2022中的工作GiraffeDet提出了一种新颖的Light-Backbone Heavy-Neck结构并实现了SOTA性能,因为给定的颈结构GFPN(广义FPN)可以充分交换高层语义信息和低层空间信息。在GFPN中,多尺度特征融合发生在前一层和当前层的不同尺度特征中,此外,跨层连接log_2(n)提供了更有效的信息传输,可以扩展到更深的网络。

image-20240621153134725

因此,他们尝试将GFPN引入DAMO-YOLO中,并且获得了比PANet更高的准确率,这是预期的。但与此同时,GFPN带来了模型推理延迟的增加,使得精度/延迟的权衡并没有取得很大的优势。通过对原始GFPN结构的分析,他们将原因归结为以下几个方面:

(1)不同尺度的特征共享相同数量的通道,这使得很难给出一个最优的通道数来保证高层低层的特征。 - 分辨率特征和低级高分辨率特征具有同样丰富的表达能力;

(2)GFPN使用Queen-Fusion来增强特征之间的融合,而Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度下特征的融合,这极大地影响了推理速度;

(3)GFPN中使用的3x3卷积的跨尺度特征融合效率不高,无法满足轻量级计算的需求,需要进一步优化。

task与yaml配置

详见:https://blog.csdn.net/shangyanaf/article/details/139863259

相关文章
|
2天前
|
机器学习/深度学习 计算机视觉 异构计算
YOLOv8优改系列一:YOLOv8融合BiFPN网络,实现网络快速涨点
该专栏专注于YOLOv8的 Neck 部分改进,融合了 BiFPN 网络,大幅提升检测性能。BiFPN 通过高效的双向跨尺度连接和加权特征融合,解决了传统 FPN 的单向信息流限制。文章详细介绍了 BiFPN 的原理及其实现方法,并提供了核心代码修改指导。点击链接订阅专栏,每周定时更新,助您快速提升模型效果。推荐指数:⭐️⭐️⭐️⭐️,涨点指数:⭐️⭐️⭐️⭐️。
15 0
|
3月前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进 - 注意力机制】c2f结合CBAM:针对卷积神经网络(CNN)设计的新型注意力机制
【YOLOv8改进 - 注意力机制】c2f结合CBAM:针对卷积神经网络(CNN)设计的新型注意力机制
|
5天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:守护数字世界的坚盾
本文旨在探讨网络安全与信息安全领域的关键要素,包括网络安全漏洞、加密技术以及安全意识的重要性。通过深入浅出的方式,帮助读者理解这些概念,并强调每个人都应具备基本的安全防范意识,共同维护数字世界的安全。
|
2天前
|
SQL 安全 算法
网络安全与信息安全的前沿探索
【10月更文挑战第5天】 在当今信息化社会,网络安全和信息安全已成为至关重要的话题。本文将深入探讨网络安全漏洞、加密技术及安全意识的重要性,旨在为读者提供技术性的见解和实用的建议。通过分析常见的网络攻击手段和防御策略,我们将揭示如何保护个人和企业的数据免受威胁,同时强调每个人都应具备的基本安全意识和最佳实践。
9 1
|
2天前
|
存储 安全 程序员
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第5天】 本文旨在探讨网络安全和信息安全领域的重要方面,包括网络漏洞、加密技术及安全意识。通过深入分析这些关键概念,我们希望提高读者对这些重要领域的理解,并强调在当今数字化世界中保护个人和组织数据的重要性。我们将从网络漏洞的定义及其成因开始,接着介绍常见的加密技术及其应用,最后讨论提升安全意识的方法,以帮助读者更好地保护自己的信息安全。
|
4天前
|
安全 算法 网络安全
网络安全与信息安全:守护数字世界的坚盾在这个高度数字化的时代,网络安全和信息安全已成为全球关注的焦点。无论是个人隐私还是企业数据,都面临着前所未有的风险和挑战。本文将深入探讨网络安全漏洞、加密技术以及安全意识的重要性,旨在为读者提供实用的知识,帮助构建更加安全的网络环境。
【10月更文挑战第4天】 在数字化浪潮中,网络安全与信息安全成为不可忽视的议题。本文通过分析网络安全漏洞的类型与成因,探讨加密技术的原理与应用,并强调提升安全意识的必要性,为读者提供一套全面的网络安全知识框架。旨在帮助个人和企业更好地应对网络威胁,保护数字资产安全。
|
2天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第6天】在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将探讨网络安全漏洞、加密技术和安全意识等方面的内容,以帮助读者更好地了解这些主题,并采取适当的措施保护自己的信息安全。我们将通过代码示例来演示一些常见的安全漏洞,并提供解决方案。最后,我们将强调培养良好的安全意识对于维护个人和组织的信息安全的重要性。
|
4天前
|
SQL 负载均衡 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第3天】本文将探讨网络安全与信息安全的重要性,包括网络安全漏洞、加密技术和安全意识等方面。我们将介绍一些常见的网络安全漏洞,并提供一些预防措施和解决方案。同时,我们还将讨论加密技术的作用和应用,以及如何提高个人和组织的安全意识。通过这些知识的分享,我们希望能够帮助读者更好地理解和应对网络安全挑战。
|
2天前
|
存储 SQL 安全
网络防御的艺术:从漏洞识别到加密技术,构建信息安全的堡垒
【10月更文挑战第6天】在数字化浪潮下,网络安全与信息安全成为我们不可忽视的重要议题。本文将深入浅出地探讨网络安全漏洞的识别、加密技术的基本原理,以及提升个人和组织安全意识的重要性。通过实际案例分析和代码示例,我们将揭示如何有效防御网络攻击,保护个人隐私和组织数据不受侵犯。无论你是网络安全新手,还是希望深化理解的专业人士,这篇文章都将为你提供宝贵的知识分享。
|
2天前
|
存储 安全 算法
网络安全与信息安全:构建安全数字生活的基石
【10月更文挑战第5天】 在数字化时代,网络安全与信息安全已成为维护个人隐私、企业机密和国家安全的重要防线。本文旨在探讨网络安全漏洞的形成与防范、加密技术的应用及其重要性,以及提升公众安全意识的必要性。通过深入浅出的方式,帮助读者理解网络安全的核心要素,并强调每个人都是网络安全生态中不可或缺的一环。
9 1

热门文章

最新文章