【YOLOv8改进】 YOLOv8 更换骨干网络之GhostNetV2 长距离注意力机制增强廉价操作,构建更强端侧轻量型骨干 (论文笔记+引入代码)

简介: 该专栏聚焦YOLO目标检测的创新改进与实战,介绍了轻量级CNNs和注意力机制在移动设备上的应用。文章提出了一种名为GhostNetV2的新架构,结合了硬件友好的DFC注意力机制,强化了特征表达能力和全局信息捕获,同时保持低计算成本和高效推理。GhostNetV2在ImageNet上以167M FLOPs达到75.3%的top-1准确率,优于同类模型。创新点包括DFC注意力、模型结构优化和效率提升。源代码可在GitHub和MindSpore平台上找到。此外,还提到了YOLOv8的相关实现和任务配置。

YOLO目标检测创新改进与实战案例专栏

专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

摘要

轻量级卷积神经网络(CNNs)专为移动设备上的应用而设计,具有更快的推理速度。卷积操作只能捕获窗口区域内的局部信息,这限制了性能的进一步提升。将自注意力引入到卷积中可以很好地捕获全局信息,但这将大大增加实际速度的负担。在本文中,我们提出了一种硬件友好的注意力机制(称为DFC注意力),然后为移动应用呈现了一个新的GhostNetV2架构。所提出的DFC注意力基于全连接层构建,不仅可以在常见硬件上快速执行,还能捕获长距离像素之间的依赖关系。我们进一步重新审视了之前GhostNet中的表达性瓶颈,并提出通过DFC注意力增强通过廉价操作产生的扩展特征,以便GhostNetV2块可以同时聚合局部和长距离信息。广泛的实验展示了GhostNetV2相较于现有架构的优越性。例如,在ImageNet上,它以167M FLOPs实现了75.3%的top-1准确率,显著超过了具有类似计算成本的GhostNetV1(74.5%)。源代码将在 https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorchhttps://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2 上提供。

创新点

GhostNetV2的创新点总结如下:

  1. 增强的特征表达能力:相比于原始的GhostNet,GhostNetV2通过引入DFC(Decoupled Fully Connected)注意力机制,有效增强了网络对长距离空间位置依赖性的捕获能力。这使得模型能够同时整合局部和远程的信息,从而提升了特征的表达力。

  2. 硬件友好的DFC注意力机制:GhostNetV2提出了一种新颖的硬件友好的DFC注意力机制,通过解耦全连接层的方式,大幅降低了计算复杂度。DFC注意力通过沿水平和垂直方向聚集特征,有效捕获全局信息,同时保持了对移动设备的高效部署能力。

  3. 高效的计算成本:通过采用DFC注意力机制和对特征进行下采样,GhostNetV2在不牺牲性能的情况下,显著减少了模型的计算成本。这使得GhostNetV2在保持轻量级的同时,还能在移动设备上快速推理,提高了模型的实用性。

  4. 模型结构的优化:GhostNetV2采用了Inverted bottleneck设计,并通过DFC注意力机制与Ghost模块并行工作的方式,增强了扩展特征的表达能力。这种设计改进了模型的"expressiveness"和"capacity",同时保持了Ghost模块减少参数量和计算量的优势。

  5. 实验验证的性能提升:GhostNetV2通过广泛的实验验证,展示了其在ImageNet等标准数据集上的优越性能。相比GhostNetV1,GhostNetV2在相似的计算成本下,实现了更高的准确率,证明了其结构优化和注意力机制引入的有效性。

综上所述,GhostNetV2通过创新的DFC注意力机制和模型结构优化,在保持轻量级和高效部署的基础上,显著提升了模型的性能和表达能力。

yolov8 引入


class GhostV2(nn.Module):


    def __init__(self, num_in, num_out, num_mid, kernel_size, stride=1, act_type='relu', use_se=False, layer_id=None):
        super(GhostV2, self).__init__()
        self.use_ori_module = layer_id <= 1
        if self.use_ori_module:
            self.ghost1 = GhostModule(num_in, num_mid, kernel_size=1,
                                      stride=1, padding=0, act_type=act_type)
        else:
            self.ghost1 = GhostModuleMul(num_in, num_mid, kernel_size=1,
                                         stride=1, padding=0, act_type=act_type)

        self.use_dw = stride > 1
        self.dw = None
        if self.use_dw:
            self.dw = ConvUnit(num_mid, num_mid, kernel_size=kernel_size, stride=stride,
                               padding=self._get_pad(kernel_size), act_type=act_type, num_groups=num_mid, use_act=False)

        self.use_se = use_se
        if use_se:
            self.se = SE_Ghost(num_mid)

        self.ghost2 = GhostModule(num_mid, num_out, kernel_size=1, stride=1,
                                  padding=0, act_type=act_type, use_act=False)

        self.down_sample = False
        if num_in != num_out or stride != 1:
            self.down_sample = True
        self.shortcut = None
        if self.down_sample:
            self.shortcut = nn.Sequential(
                ConvUnit(num_in, num_in, kernel_size=kernel_size, stride=stride,
                         padding=self._get_pad(kernel_size), num_groups=num_in, use_act=False),
                ConvUnit(num_in, num_out, kernel_size=1, stride=1,
                         padding=0, num_groups=1, use_act=False),
            )

task与yaml配置

详见:https://blog.csdn.net/shangyanaf/article/details/136170972

相关文章
|
3天前
|
关系型数据库 MySQL 数据库
实时计算 Flink版操作报错合集之网络缓冲池(NetworkBufferPool)中可用内存不足,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
17天前
|
机器学习/深度学习 编解码 数据可视化
图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比
目前我们看到有很多使用KAN替代MLP的实验,但是目前来说对于图神经网络来说还没有类似的实验,今天我们就来使用KAN创建一个图神经网络Graph Kolmogorov Arnold(GKAN),来测试下KAN是否可以在图神经网络方面有所作为。
50 0
|
21天前
|
机器学习/深度学习 Serverless 文件存储
函数计算操作报错合集之在网络设置完成后进行挂载的指令,报错:找不到网络路径,该如何处理
在使用函数计算服务(如阿里云函数计算)时,用户可能会遇到多种错误场景。以下是一些常见的操作报错及其可能的原因和解决方法,包括但不限于:1. 函数部署失败、2. 函数执行超时、3. 资源不足错误、4. 权限与访问错误、5. 依赖问题、6. 网络配置错误、7. 触发器配置错误、8. 日志与监控问题。
|
24天前
|
缓存 NoSQL Redis
redis管道操作(节省网络IO开销)
pipeline中发送的每个command都会被server立即执行,如果执行失败,将会在此后的响应中得到信息;也就是pipeline并不是表达“所有command都一起成功”的语义,管道中前面命令失败,后面命令不会有影响,继续执行。
19 1
|
6天前
|
机器学习/深度学习 TensorFlow API
Keras是一个高层神经网络API,由Python编写,并能够在TensorFlow、Theano或CNTK之上运行。Keras的设计初衷是支持快速实验,能够用最少的代码实现想法,并且能够方便地在CPU和GPU上运行。
Keras是一个高层神经网络API,由Python编写,并能够在TensorFlow、Theano或CNTK之上运行。Keras的设计初衷是支持快速实验,能够用最少的代码实现想法,并且能够方便地在CPU和GPU上运行。
|
29天前
|
机器学习/深度学习 算法 计算机视觉
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
46 0
没有公式,不要代码,让你理解 RCNN:目标检测中的区域卷积神经网络
|
2天前
|
存储 安全 网络安全
云计算与网络安全:技术挑战与解决方案
【7月更文挑战第17天】在数字化时代,云计算已成为企业和个人数据存储、处理和计算的重要工具。然而,随着云服务的广泛应用,网络安全问题也日益突出。本文将探讨云计算环境下的网络安全挑战,包括数据泄露、服务中断和恶意软件攻击等,并提出相应的解决策略,如加强身份验证、实施加密措施和采用分布式拒绝服务(DDoS)防护。文章旨在为读者提供对云计算网络安全风险的深入理解和有效防御手段。
|
3天前
|
存储 安全 网络安全
云计算与网络安全:技术挑战与未来趋势
随着云计算技术的迅猛发展,其在各行各业的应用日益广泛。然而,云计算的普及也带来了前所未有的网络安全挑战。本文深入探讨了云服务、网络安全和信息安全等技术领域,分析了当前云计算环境中存在的安全威胁,并提出了相应的防护措施。同时,文章还预测了云计算与网络安全未来的发展趋势,为相关领域的研究者和实践者提供了有价值的参考。
|
2天前
|
存储 安全 网络安全
云计算与网络安全:技术挑战与策略
【7月更文挑战第17天】在数字化时代,云计算已成为企业存储、处理和分析数据的首选平台。然而,随着云服务的快速发展,网络安全威胁也随之增加,对信息安全构成了前所未有的挑战。本文将深入探讨云计算环境中的网络安全问题,包括数据泄露、身份盗用、恶意软件攻击等,并分析当前云服务供应商采取的安全措施。此外,文章还将讨论如何通过加强加密技术、实施严格的访问控制策略、采用多因素认证、部署入侵检测系统以及进行定期安全评估来提高云环境的安全性。最后,本文将强调企业和云服务提供商之间合作的重要性,以确保云计算平台的持续安全。
14 5

热门文章

最新文章