YOLO目标检测创新改进与实战案例专栏
专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLO基础解析+创新改进+实战案例
摘要
先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的门控机制，自适应地确定特征描述符的覆盖范围。交互来捕获局部特征交互，克服性能和计算开销权衡的悖论。我们的 MCA 简单而通用，可以作为即插即用模块轻松插入各种经典 CNN，并以端到端的方式与普通网络一起进行训练。 CIFAR 和 ImageNet-1K 数据集上图像识别的广泛实验结果证明了我们的方法相对于其他最先进 (SOTA) 方法的优越性。此外，我们还通过目视检查 GradCAM++ 可视化结果来深入了解 MCA 的实际优势。该代码可从 https://github.com/ndsclark/MCANet 获取。
创新点
- 通过三个平行分支同时建模通道、高度和宽度维度的注意力，实现多维度的协同注意力。
- 引入挤压变换和激励变换组件，通过自适应的方式聚合特征和捕获局部特征交互，提高网络的表征能力。
- 实现了轻量级、高效率的多维协同注意力模块，在提升性能的同时几乎没有额外的计算负担。
- 通过优化注意力机制，使网络更准确地定位和识别感兴趣的对象，提高了图像识别任务的准确性和效率。
yolov8 引入
class MCALayer(nn.Module):
def __init__(self, inp, no_spatial=True):
super(MCALayer, self).__init__()
lambd = 1.5
gamma = 1
temp = round(abs((math.log2(inp) - gamma) / lambd))
kernel = temp if temp % 2 else temp - 1
self.h_cw = MCAGate(3)
self.w_hc = MCAGate(3)
self.no_spatial = no_spatial
if not no_spatial:
self.c_hw = MCAGate(kernel)
def forward(self, x):
x_h = x.permute(0, 2, 1, 3).contiguous()
x_h = self.h_cw(x_h)
x_h = x_h.permute(0, 2, 1, 3).contiguous()
x_w = x.permute(0, 3, 2, 1).contiguous()
x_w = self.w_hc(x_w)
x_w = x_w.permute(0, 3, 2, 1).contiguous()
if not self.no_spatial:
x_c = self.c_hw(x)
x_out = 1 / 3 * (x_c + x_h + x_w)
else:
x_out = 1 / 2 * (x_h + x_w)
return x_out
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/136205065
