【YOLOv10改进-卷积Conv】RFAConv：感受野注意力卷积，创新空间注意力

2024-07-08 736

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 【YOLO目标检测专栏】探索空间注意力局限，提出感受野注意力（RFA）机制，解决卷积核参数共享问题。RFAConv增强大尺寸卷积核处理能力，不增加计算成本，提升网络性能。已在YOLOv8中实现，详情见YOLO目标检测创新改进与实战案例专栏。

YOLOv10目标检测创新改进与实战案例专栏

专栏链接: YOLOv10 创新改进有效涨点

介绍

摘要

空间注意力已被广泛用于提升卷积神经网络的性能。然而，它存在一定的局限性。在本文中，我们提出了一个关于空间注意力有效性的新视角，即空间注意力机制本质上是解决卷积核参数共享的问题。然而，由空间注意力生成的注意力图中包含的信息对于大尺寸卷积核来说并不充分。因此，我们提出了一种名为感受野注意力（Receptive-Field Attention，简称RFA）的新型注意力机制。现有的空间注意力，如卷积块注意力模块（Convolutional Block Attention Module，简称CBAM）和协调注意力（Coordinated Attention，简称CA）只关注空间特征，这并没有完全解决卷积核参数共享问题。相比之下，RFA不仅关注感受野空间特征，而且为大尺寸卷积核提供有效的注意力权重。RFA开发的感受野注意力卷积操作（Receptive-Field Attention convolutional operation，简称RFAConv）代表了一种替代标准卷积操作的新方法。它几乎不增加计算成本和参数，同时显著提升了网络性能。我们在ImageNet-1k、COCO和VOC数据集上进行了一系列实验，以证明我们方法的优越性。特别重要的是，我们认为现在是时候从空间特征转向感受野空间特征，以改进当前的空间注意力机制。通过这种方式，我们可以进一步提高网络性能，取得更好的结果。

创新点

感受野注意力卷积（Receptive-Field Attention Convolution，简称RFAConv）的主要创新在于将空间注意力机制与卷积操作相融合，旨在提升卷积神经网络（CNN）的性能。该方法通过以下关键策略，对卷积核的功能进行优化，特别强调处理感受野内部的空间特征：

对感受野空间特征的强化关注： RFAConv着重于感受野内的空间特征，超越了传统空间维度的限制。此方法使得网络能够更高效地识别和处理图像中的局部区域，进而提升特征提取的准确性。
解决卷积核参数共享的挑战： 在传统CNN结构中，卷积核在处理图像的不同区域时采用相同的参数，这可能会限制模型对复杂模式的识别能力。RFAConv通过整合注意力机制，实现了卷积核参数的灵活调整，为不同的图像区域提供了定制化的处理方案。
增强大尺寸卷积核的处理能力： 对于大尺寸的卷积核，单纯依赖传统空间注意力机制可能无法充分捕捉所有关键信息。RFAConv通过赋予有效的注意力权重，确保大尺寸卷积核能够更加精确地处理图像信息。

综上所述，感受野注意力卷积代表了对传统卷积操作的革新性改进，它不仅提升了网络对图像细节的处理能力，还为处理更复杂的视觉任务提供了强有力的支持。

yolov8 引入RFAConv

把代码加入：ultralytics/nn/modules/conv.py

class RFAConv(nn.Module):
    def __init__(self,in_channel,out_channel,kernel_size,stride=1):
        super().__init__()
        self.kernel_size = kernel_size

        self.get_weight = nn.Sequential(nn.AvgPool2d(kernel_size=kernel_size, padding=kernel_size // 2, stride=stride),
                                        nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=1, groups=in_channel,bias=False))
        self.generate_feature = nn.Sequential(
            nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=kernel_size,padding=kernel_size//2,stride=stride, groups=in_channel, bias=False),
            nn.BatchNorm2d(in_channel * (kernel_size ** 2)),
            nn.ReLU())

        self.conv = nn.Sequential(nn.Conv2d(in_channel, out_channel, kernel_size=kernel_size, stride=kernel_size),
                                  nn.BatchNorm2d(out_channel),
                                  nn.ReLU())

    def forward(self,x):
        b,c = x.shape[0:2]
        weight =  self.get_weight(x)
        h,w = weight.shape[2:]
        weighted = weight.view(b, c, self.kernel_size ** 2, h, w).softmax(2)  # b c*kernel**2,h,w ->  b c k**2 h w 
        feature = self.generate_feature(x).view(b, c, self.kernel_size ** 2, h, w)  #b c*kernel**2,h,w ->  b c k**2 h w  
        weighted_data = feature * weighted
        conv_data = rearrange(weighted_data, 'b c (n1 n2) h w -> b c (h n1) (w n2)', n1=self.kernel_size, # b c k**2 h w ->  b c h*k w*k
                              n2=self.kernel_size)
        return self.conv(conv_data)



class SE(nn.Module):
    def __init__(self, in_channel, ratio=16):
        super(SE, self).__init__()
        self.gap = nn.AdaptiveAvgPool2d((1, 1))
        self.fc = nn.Sequential(
            nn.Linear(in_channel, ratio, bias=False),  # 从 c -> c/r
            nn.ReLU(),
            nn.Linear(ratio, in_channel, bias=False),  # 从 c/r -> c
            nn.Sigmoid()
        )

    def forward(self, x):
            b, c= x.shape[0:2]
            y = self.gap(x).view(b, c)
            y = self.fc(y).view(b, c,1, 1)
            return y