YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

摘要

我们提出了卷积块注意力模块（Convolutional Block Attention Module，CBAM），这是一种简单但有效的用于前馈卷积神经网络的注意力模块。给定一个中间特征图，我们的模块依次推断沿两个独立维度（通道和空间）的注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。由于CBAM是一个轻量且通用的模块，可以无缝地集成到任何卷积神经网络（CNN）架构中，且开销可以忽略不计，并能够与基础CNN进行端到端训练。我们通过在ImageNet-1K、MS COCO检测和VOC 2007检测数据集上进行广泛的实验验证了CBAM。我们的实验表明，在各种模型中，分类和检测性能均有一致的提升，证明了CBAM的广泛适用性。代码和模型将公开可用。

文章链接

论文地址：论文地址

代码地址：代码地址

参考代码： yolov8源代码中的ultralytics.nn.modules.conv.CBAM

基本原理

Convolutional Block Attention Module（CBAM）是一种针对卷积神经网络（CNN）设计的新型注意力机制，旨在增强其在各种计算机视觉任务中的性能，如图像分类和目标检测。CBAM依次沿着通道和空间两个独立维度推断注意力图，然后将这些图结合起来，自适应地优化输入特征图。

1. 通道注意力模块：CBAM中的通道注意力机制专注于建模特征图中不同通道之间的相互关系。它学习为每个通道分配不同的重要性权重，通过捕捉通道间的关系，有助于网络强调信息丰富的通道，同时抑制不太相关的通道，从而改善特征表示。

2. 空间注意力模块：CBAM中的空间注意力机制旨在捕捉特征图中每个通道内的空间依赖关系。通过分析不同位置之间的空间关系，空间注意力模块学习突出重要的空间区域，同时抑制不相关的区域。这使网络能够专注于相关的空间位置，以更好地提取特征。

以下为 CBAM (Convolutional Block Attention Module) 的架构

从架构来看，其实蛮像 BAM（Bottleneck Attention Module），一样有 Channel attention 和 Spatial attention 的模块在里面，而 CBAM (Convolutional Block Attention Module) 的流程如下：

1. 输入特征 通过 Channel Attention 后得到 Mc(F)，Mc(F) 与 F(input feature) 做 Element-wise Product 得到 F’
2. F’ 通过空间注意力 后得到 Ms(F)，Ms(F) 与 F’(input feature) 做 Element-wise Product 得到 F’’

最终的输出为 F’’ = Ms(F’) ⊗F’ , F’ = Mc(F) ⊗ F (Input feature) 可以用以下公式来表示

核心代码

class ChannelAttention(nn.Module):
    """Channel-attention module https://github.com/open-mmlab/mmdetection/tree/v3.0.0rc1/configs/rtmdet."""

    def __init__(self, channels: int) -> None:
        """Initializes the class and sets the basic configurations and instance variables required."""
        super().__init__()
        self.pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Conv2d(channels, channels, 1, 1, 0, bias=True)
        self.act = nn.Sigmoid()

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        """Applies forward pass using activation on convolutions of the input, optionally using batch normalization."""
        return x * self.act(self.fc(self.pool(x)))


class SpatialAttention(nn.Module):
    """Spatial-attention module."""

    def __init__(self, kernel_size=7):
        """Initialize Spatial-attention module with kernel size argument."""
        super().__init__()
        assert kernel_size in (3, 7), "kernel size must be 3 or 7"
        padding = 3 if kernel_size == 7 else 1
        self.cv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.act = nn.Sigmoid()

    def forward(self, x):
        """Apply channel and spatial attention on input for feature recalibration."""
        return x * self.act(self.cv1(torch.cat([torch.mean(x, 1, keepdim=True), torch.max(x, 1, keepdim=True)[0]], 1)))


class CBAM(nn.Module):
    """Convolutional Block Attention Module."""

    def __init__(self, c1, kernel_size=7):
        """Initialize CBAM with given input channel (c1) and kernel size."""
        super().__init__()
        self.channel_attention = ChannelAttention(c1)
        self.spatial_attention = SpatialAttention(kernel_size)

    def forward(self, x):
        """Applies the forward pass through C1 module."""
        return self.spatial_attention(self.channel_attention(x))

task与yaml配置

详见：https://blog.csdn.net/shangyanaf/article/details/139950898