YOLOv8改进 | 注意力机制 | 添加双重注意力机制 DoubleAttention【附完整代码+小白必备】

2024-05-30 429

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

视觉智能开放平台，分割抠图1万点

视觉智能开放平台，视频资源包5000点

视觉智能开放平台，图像资源包5000点

简介： 在这个教程中，作者介绍了如何在YOLOv8图像识别模型中集成DoubleAttention模块，以提升模型捕捉长距离关系的效率。DoubleAttention通过全局和局部注意力模块捕获图像的全局和局部信息。教程详细阐述了DoubleAttention的工作原理，并提供了相应的代码实现。读者将学习到如何在YOLOv8的网络结构中添加这一组件，并给出了完整的代码示例。此外，还分享了GFLOPs的计算，以及鼓励读者尝试在不同位置添加注意力机制作为进阶练习。完整代码和更多详情可在提供的链接中获取。

💡💡💡本专栏所有程序均经过测试，可成功执行💡💡💡

在图像识别中，学习捕捉长距离关系是基础。现有的CNN模型通常通过增加深度来建立这种关系，但这种形式效率极低。因此，双重注意力被提出，这是一个新颖的组件，它能够从输入图像的整个时空空间聚合和传播信息丰富的全局特征，使得后续的卷积层能够高效地访问整个空间特征。这个组件通过两步的双重注意力机制来设计，第一步通过二阶注意力池化从整个空间收集特征到一组紧凑集合，第二步通过另一种注意力自适应选择和分配特征到每个位置。在本文中，给大家带来的教程是在原来的网络的基础上添加DoubleAttention。文章在介绍主要的原理后，将手把手教学如何进行模块的代码添加和修改，并将修改后的完整代码放在文章的最后，方便大家一键运行，小白也可轻松上手实践。以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址：YOLOv8改进——更新各种有效涨点方法——点击即可跳转

1.原理

官方论文：A2 -Nets: Double Attention Networks——点击即可跳转

官方代码：A2 -Nets: Double Attention Networks官方代码仓库——点击即可跳转

双重注意力网络（Double Attention Networks）是一种用于计算机视觉任务的神经网络架构，旨在有效地捕获图像中的全局和局部信息，以提高任务的性能。它是建立在注意力机制的基础上的，通过两个注意力模块来分别关注全局和局部信息。以下是关于Double Attention Networks的详细解释：

注意力机制：注意力机制是一种模仿人类视觉系统的方法，它允许神经网络在处理输入数据时集中注意力在最相关的部分上。在计算机视觉中，这意味着网络可以动态地选择关注图像的不同部分，从而提高任务的性能。

双重注意力：双重注意力网络引入了两个注意力模块，分别用于全局和局部信息。这两个模块分别关注图像的整体结构和局部细节，从而充分利用了图像中的各种信息。

全局注意力模块：全局注意力模块负责捕获图像中的全局信息。它通常采用全局池化（global pooling）操作，将整个特征图进行压缩，然后通过一系列的神经网络层来学习全局上下文信息。这个模块能够帮助网络理解图像的整体语义结构。

局部注意力模块：局部注意力模块专注于捕获图像中的局部信息。它通常采用一种局部感知机制（local perception），通过对图像进行分块或者使用卷积操作来提取局部特征，并且通过注意力机制来选择最相关的局部信息。这个模块有助于网络在处理具有局部结构的图像时更加准确。

特征融合：在双重注意力网络中，全局和局部注意力模块学习到的特征需要被合并起来以供最终任务使用。这通常通过简单地将两个模块的输出进行融合，例如连接或者加权求和操作。这种特征融合使得网络能够综合利用全局和局部信息来完成任务。

通过以上的双重注意力网络架构，神经网络可以更有效地利用图像中的全局和局部信息，从而在各种计算机视觉任务中取得更好的性能。

2. DoubleAttention代码实现

2.1 将DoubleAttention添加到YOLOv8中

from torch import nn
import torch
from torch.autograd import Variable
import torch.nn.functional as F


class DoubleAttentionLayer(nn.Module):
    """
    Implementation of Double Attention Network. NIPS 2018
    """

    def __init__(self, in_channels: int, c_m: int, c_n: int, reconstruct=False):
        """
        Parameters
        ----------
        in_channels
        c_m
        c_n
        reconstruct: `bool` whether to re-construct output to have shape (B, in_channels, L, R)
        """
        super(DoubleAttentionLayer, self).__init__()
        self.c_m = c_m
        self.c_n = c_n
        self.in_channels = in_channels
        self.reconstruct = reconstruct
        self.convA = nn.Conv2d(in_channels, c_m, kernel_size=1)
        self.convB = nn.Conv2d(in_channels, c_n, kernel_size=1)
        self.convV = nn.Conv2d(in_channels, c_n, kernel_size=1)
        if self.reconstruct:
            self.conv_reconstruct = nn.Conv2d(c_m, in_channels, kernel_size=1)

    def forward(self, x: torch.Tensor):
        """
        Parameters
        ----------
        x: `torch.Tensor` of shape (B, C, H, W)
        Returns
        -------
        """
        batch_size, c, h, w = x.size()
        assert c == self.in_channels, 'input channel not equal!'
        A = self.convA(x)  # (B, c_m, h, w) because kernel size is 1

        B = self.convB(x)  # (B, c_n, h, w)
        V = self.convV(x)  # (B, c_n, h, w)

        tmpA = A.view(batch_size, self.c_m, h * w)

        attention_maps = B.view(batch_size, self.c_n, h * w)
        attention_vectors = V.view(batch_size, self.c_n, h * w)

完整代码:YOLOv8改进 | 注意力机制 | 添加双重注意力机制 DoubleAttention【附代码+小白必备】——点击即可跳转

双重注意力网络的主要过程涉及以下几个关键步骤：

输入图像的特征提取：首先，输入的图像经过一个预训练的卷积神经网络（CNN）模型，例如ResNet、VGG等，以提取图像的特征。这些特征通常是一个高维度的张量，表示了图像在不同层次上的抽象特征信息。

全局注意力模块：对于提取的图像特征，首先通过全局注意力模块进行处理。这个模块通常包括以下几个步骤：

使用全局池化操作（如全局平均池化）将特征图进行降维，得到全局上下文信息。

将降维后的全局特征通过一个全连接网络（FCN）进行处理，以学习全局信息的表示。

使用激活函数（如ReLU）来增加网络的非线性表示能力。

局部注意力模块：接下来，提取的特征经过局部注意力模块的处理。这个模块主要负责捕获图像中的局部信息，并结合全局信息进行处理。其主要步骤包括：

将特征图分成不同的区域或者使用卷积操作来提取局部特征。

对每个局部特征使用注意力机制，计算其与全局信息的相关程度，以得到局部的重要性权重。

使用得到的权重对局部特征进行加权合并，以得到最终的局部表示。

特征融合：全局和局部模块得到的特征需要被合并起来以供最终任务使用。通常的融合方式包括简单的连接、加权求和或者其他组合方式。这种特征融合能够让网络充分利用全局和局部信息，从而提高任务性能。

任务特定的输出：最后，融合后的特征被送入一个或多个任务特定的神经网络层，例如全连接层或者卷积层，以完成具体的任务。这个任务可以是图像分类、目标检测、语义分割等。

2.2 更改init.py文件

然后在下面的all中声明函数

2.3 在task.py中进行注册

2.4 添加yaml文件

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect

# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPs
  s: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPs
  m: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPs
  l: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
  x: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs

# YOLOv8.0n backbone
backbone:
  # [from, repeats, module, args]
  - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  - [-1, 3, C2f, [128, True]]
  - [-1, 1, DoubleAttentionLayer, [128,1]]
  - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  - [-1, 6, C2f, [256, True]]
  - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  - [-1, 6, C2f, [512, True]]
  - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  - [-1, 3, C2f, [1024, True]]
  - [-1, 1, SPPF, [1024, 5]] # 9

# YOLOv8.0n head
head:
  - [-1, 1, nn.Upsample, [None, 2, "nearest"]]
  - [[-1, 6], 1, Concat, [1]] # cat backbone P4
  - [-1, 3, C2f, [512]] # 12

温馨提示：因为本文只是对yolov8n基础上添加模块，如果要对yolov8n/l/m/x进行添加则只需要指定对应的depth_multiple 和 width_multiple。或者指定某个模型即可

# YOLOv8n
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.25  # layer channel multiple

# YOLOv8s
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# YOLOv8l 
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# YOLOv8m
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple

# YOLOv8x
depth_multiple: 1.33  # model depth multiple
width_multiple: 1.25  # layer channel multiple

2.5 执行程序

from ultralytics import YOLO

# Load a model
# model = YOLO('yolov8n.yaml')  # build a new model from YAML
# model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)

model = YOLO(r'/projects/ultralytics/ultralytics/cfg/models/v8/yolov8_DANet.yaml')  # build from YAML and transfer weights

# Train the model
model.train(device = [3], batch=16)

建议大家写绝对路径，确保一定能找到

🚀运行程序，如果出现下面的内容则说明添加成功🚀

3. 完整代码分享

完整代码: YOLOv8改进 | 注意力机制 | 添加双重注意力机制 DoubleAttention【附代码+小白必备】——点击即可跳转

提取码：9wye

4. GFLOPs

关于GFLOPs的计算方式可以查看：百面算法工程师 | 卷积基础知识——Convolution

未改进的YOLOv8nGFLOPs

改进后的GFLOPs

5. 进阶

你能在不同的位置添加双重注意力机制吗？这非常有趣，快去试试吧

6. 总结

双重注意力网络是一种用于计算机视觉任务的神经网络架构，旨在通过注意力机制有效地捕获图像中的全局和局部信息，从而提高任务性能。该网络引入了两个关键的注意力模块，分别用于全局和局部信息的关注，全局模块通过全局池化操作学习图像的整体语义结构，而局部模块则专注于提取图像的局部特征并通过局部感知机制选择最相关的信息。这两个模块学习到的特征最终被融合起来以供任务使用，通常通过连接或加权求和的方式进行特征融合。双重注意力网络通过端到端的训练和优化，使用适当的损失函数和正则化技术来提高模型的泛化能力和训练稳定性。这种架构使得神经网络能够更全面地利用图像中的全局和局部信息，从而在各种计算机视觉任务中取得更好的性能表现。