AI 助理
备案控制台
开发者社区 人工智能 文章 正文

【YOLOv11改进 - 注意力机制】LSKA(Large Separable Kernel Attention)：大核分离卷积注意力模块

2024-11-01 62
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 【YOLOv11改进 - 注意力机制】LSKA(Large Separable Kernel Attention)：大核分离卷积注意力模块

介绍

摘要

带有大卷积核注意力（LKA）模块的视觉注意网络（VAN）在一系列基于视觉的任务上表现出色，超越了视觉Transformer（ViTs）。然而，这些LKA模块中的深度卷积层随着卷积核尺寸的增加，会导致计算和内存占用的二次增长。为了解决这些问题并使在VAN的注意力模块中使用超大卷积核成为可能，我们提出了一种大可分卷积核注意力模块家族，称为LSKA。LSKA将深度卷积层的二维卷积核分解为串联的水平和垂直一维卷积核。与标准LKA设计不同，这种分解方法使得可以直接在注意力模块中使用带有大卷积核的深度卷积层，而不需要额外的模块。我们证明了在VAN中使用的LSKA模块可以在计算复杂度和内存占用更低的情况下，达到与标准LKA模块相当的性能。我们还发现，随着卷积核尺寸的增加，提出的LSKA设计使VAN更倾向于关注物体的形状而不是纹理。此外，我们还在五种受损版本的ImageNet数据集上，对VAN、ViTs以及最新的ConvNeXt中的LKA和LSKA模块进行了稳健性基准测试，这些数据集在以往的工作中很少被探索。我们广泛的实验结果表明，随着卷积核尺寸的增加，提出的VAN中的LSKA模块显著减少了计算复杂度和内存占用，同时在对象识别、对象检测、语义分割和稳健性测试上表现优于ViTs、ConvNeXt，并与VAN中的LKA模块性能相当。代码可在 https://github.com/StevenLauHKHK/Large-Separable-Kernel-Attention 获得。

YOLOv11目标检测创新改进与实战案例专栏

点击查看文章目录： YOLOv11创新改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
>
点击查看专栏链接: YOLOv11目标检测创新改进与实战案例

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

Large Separable Kernel Attention (LSKA)是一种新颖的注意力模块设计，旨在解决Visual Attention Networks (VAN)中使用大内核卷积时所面临的计算效率问题。LSKA通过将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核，从而实现了对大内核的直接使用，无需额外的模块。

概述

  1. 基本设计：

    • LSKA将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核。
    • 这种分解设计使得LSKA可以直接使用深度卷积层的大内核，无需额外的模块或计算。

  2. 计算效率：

    • LSKA的设计降低了参数数量的增长，从而降低了计算复杂度和内存占用。
    • 通过级联1-D卷积核的方式，LSKA在处理大内核时能够保持高效性能。

  3. 形状和纹理偏好：

    • LSKA设计使得模块更加偏向于对象的形状而非纹理。
    • 这种偏好有助于提高模型对对象形状的学习能力，从而提高模型的鲁棒性和泛化能力。

总的来说，LSKA通过巧妙的卷积核分解设计，实现了对大内核的高效利用，同时保持了模型的性能和鲁棒性。其技术原理使得LSKA成为一种有潜力的注意力模块设计，可以在VAN等视觉任务中发挥重要作用。

与LKA-trivial、LSKA-trivial和LKA的比较：

image-20240527213758579

  • LKA-trivial是一种简单的注意力模块设计，使用深度卷积和大内核，但会导致参数数量的二次增长。
  • LSKA-trivial是对LKA-trivial的改进，通过可分离卷积核的级联降低了参数数量的增长，提高了计算效率。
  • LKA是原始的Large Kernel Attention设计，包括标准深度卷积、扩张深度卷积和1x1卷积，但在处理大内核时会带来计算和内存开销。
  • LSKA通过级联1D卷积核的设计，有效地解决了LKA中大内核带来的问题，在保持性能的同时降低了计算复杂度和内存占用。

核心代码


import torch
import torch.nn as nn

# 定义一个名为LSKA的神经网络模块类，继承自nn.Module
class LSKA(nn.Module):
    def __init__(self, dim, k_size):
        # 初始化LSKA类，dim为通道数，k_size为卷积核大小
        super().__init__()

        self.k_size = k_size  # 保存卷积核大小

        # 根据k_size的不同值，初始化不同的卷积层
        if k_size == 7:
            # 水平和垂直方向上的第一层卷积
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            # 空间卷积层，带有膨胀参数
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,2), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=(2,0), groups=dim, dilation=2)
        elif k_size == 11:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,4), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=(4,0), groups=dim, dilation=2)
        elif k_size == 23:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 7), stride=(1,1), padding=(0,9), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(7, 1), stride=(1,1), padding=(9,0), groups=dim, dilation=3)
        elif k_size == 35:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 11), stride=(1,1), padding=(0,15), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(11, 1), stride=(1,1), padding=(15,0), groups=dim, dilation=3)
        elif k_size == 41:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 13), stride=(1,1), padding=(0,18), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(13, 1), stride=(1,1), padding=(18,0), groups=dim, dilation=3)
        elif k_size == 53:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 17), stride=(1,1), padding=(0,24), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(17, 1), stride=(1,1), padding=(24,0), groups=dim, dilation=3)

        # 通道间卷积，用于融合信息
        self.conv1 = nn.Conv2d(dim, dim, 1)

    # 定义前向传播函数
    def forward(self, x):
        u = x.clone()  # 克隆输入张量
        attn = self.conv0h(x)  # 通过第一个水平卷积层
        attn = self.conv0v(attn)  # 通过第一个垂直卷积层
        attn = self.conv_spatial_h(attn)  # 通过第二个水平卷积层
        attn = self.conv_spatial_v(attn)  # 通过第二个垂直卷积层
        attn = self.conv1(attn)  # 通过1x1卷积层融合信息
        return u * attn  # 输入与注意力权重相乘后返回

YOLOv11引入代码

在根目录下的ultralytics/nn/目录，新建一个attention目录，然后新建一个以 LSKAttention为文件名的py文件， 把代码拷贝进去。

task与yaml配置

详见：https://blog.csdn.net/shangyanaf/article/details/143037077

文章标签：
机器学习/深度学习
计算机视觉
Python
测试技术
YOLO创新改进大师
目录
相关文章
YOLO创新改进大师
|
4月前
|
机器学习/深度学习 Serverless 计算机视觉
【YOLOv8改进 - 注意力机制】Sea_Attention: Squeeze-enhanced Axial Attention,结合全局语义提取和局部细节增强
【YOLOv8改进 - 注意力机制】Sea_Attention: Squeeze-enhanced Axial Attention,结合全局语义提取和局部细节增强
YOLO创新改进大师
88 2
YOLO创新改进大师
|
4月前
|
机器学习/深度学习 编解码 测试技术
【YOLOv10改进-注意力机制】LSKNet(Large Selective Kernel Network ):空间选择注意力
YOLOv10专栏聚焦遥感目标检测，提出LSKNet，首个探索大型选择性核的模型。LSKNet利用LSKblock Attention动态调整感受野，处理不同目标的上下文。创新点还包括极化滤波和增强技术，提升信息保留和非线性输出。在HRSC2016等遥感基准上取得SOTA性能。LSKNet代码展示其网络结构，包括多阶段模块和注意力机制。详细配置和任务说明见相关链接。
YOLO创新改进大师
185 1
YOLO创新改进大师
|
14天前
|
机器学习/深度学习 计算机视觉 Python
【YOLOv11改进 - 注意力机制】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力
【YOLOv11改进 - 注意力机制】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力.EMA（Efficient Multi-Scale Attention）模块是一种高效多尺度注意力机制，旨在提高计算机视觉任务中的特征表示效果。该模块通过结合通道和空间信息、采用多尺度并行子网络结构以及优化坐标注意力机制，实现了更高效和有效的特征表示。EMA模块在图像分类和目标检测任务中表现出色，使用CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019等数据集进行了广泛测试。
YOLO创新改进大师
42 0
【YOLOv11改进 - 注意力机制】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力
YOLO创新改进大师
|
14天前
|
机器学习/深度学习 计算机视觉
【YOLOv11改进 - 注意力机制】 MSDA（Multi-Scale Dilated Attention）：多尺度空洞注意力
【YOLOv11改进 - 注意力机制】 MSDA（Multi-Scale Dilated Attention）：多尺度空洞注意力本文介绍了一种高效的视觉变换器——DilateFormer，通过多尺度扩张注意力（MSDA）模块，在保持高性能的同时显著降低计算成本。MSDA通过在滑动窗口内模拟局部和稀疏的块交互，实现了多尺度特征聚合。实验结果显示，DilateFormer在ImageNet-1K分类、COCO对象检测/实例分割和ADE20K语义分割任务上均取得了优异的性能，且计算成本比现有模型减少70%。
YOLO创新改进大师
30 0
【YOLOv11改进 - 注意力机制】 MSDA（Multi-Scale Dilated Attention）：多尺度空洞注意力
YOLO创新改进大师
|
14天前
|
机器学习/深度学习 自然语言处理 计算机视觉
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）BoTNet是一种将自注意力机制引入ResNet的创新架构，通过在最后三个瓶颈块中用全局自注意力替换空间卷积，显著提升了图像分类、物体检测和实例分割的性能，同时减少了参数量和计算开销。在COCO实例分割和ImageNet分类任务中，BoTNet分别达到了44.4%的Mask AP和84.7%的Top-1准确率，超越了现有模型。
YOLO创新改进大师
53 0
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
长发和小虎牙
|
6月前
|
机器学习/深度学习 编解码 边缘计算
YOLOv5改进 | 卷积模块 | 用ShuffleNetV2卷积替换Conv【轻量化网络】
本文介绍了如何在YOLOv5中用ShuffleNetV2替换卷积以减少计算量。ShuffleNetV2是一个轻量级网络，采用深度可分离卷积、通道重组和多尺度特征融合技术。文中提供了一个逐步教程，包括ShuffleNetV2模块的代码实现和在YOLOv5配置文件中的添加方法。此外，还分享了完整的代码链接和GFLOPs的比较，显示了GFLOPs的显著减少。该教程适合初学者实践，以提升深度学习目标检测技能。
长发和小虎牙
335 7
YOLOv5改进 | 卷积模块 | 用ShuffleNetV2卷积替换Conv【轻量化网络】
YOLO创新改进大师
|
14天前
|
机器学习/深度学习 编解码 算法
【YOLOv11改进 - 注意力机制】MLCA(Mixed local channel attention):混合局部通道注意力
【YOLOv11改进 - 注意力机制】MLCA(Mixed local channel attention):混合局部通道注意力本项目提出了一种轻量级的 Mixed Local Channel Attention (MLCA) 模块，结合通道信息和空间信息，提升网络表达效果。基于此模块，开发了 MobileNet-Attention-YOLO (MAY) 算法，在 Pascal VOC 和 SMID 数据集上表现优异，mAP 分别提高了 1.0% 和 1.5%。MLCA 通过局部池化、一维卷积和信息融合，有效捕获局部和全局信息。项目代码和详细配置可在 GitHub 和 CSDN 获取。
YOLO创新改进大师
41 0
YOLO创新改进大师
|
4月前
|
机器学习/深度学习 编解码 自然语言处理
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
YOLO目标检测专栏探讨了BoTNet，一种在ResNet瓶颈块中用全局自注意力替换卷积的架构，提升实例分割和检测性能。BoTNet表现优于先前的ResNeSt，且在ImageNet上速度更快。文章介绍了多头自注意力（MHSA）机制，用于学习输入的不同部分间的关系。BoTNet的MHSA层整合在低分辨率特征图中，以捕获长距离依赖。YOLOv8进一步引入MHSA，通过具体的模块定义（如提供的`MHSA`类）来增强模型的注意力机制。相关论文和代码链接可供参考。
YOLO创新改进大师
536 2
YOLO创新改进大师
|
4月前
|
机器学习/深度学习 编解码 计算机视觉
【YOLOv10改进-注意力机制】HAT(Hybrid Attention Transformer,)混合注意力机制
YOLOv10专栏介绍了一种名为HAT的新方法，旨在改善Transformer在图像超分辨率中的表现。HAT结合通道和窗口注意力，激活更多像素并增强跨窗口信息交互。亮点包括：1) 更多像素激活，2) 有效跨窗口信息聚合，3) 任务特定的预训练策略。HAT模型包含浅层特征提取、深层特征提取和图像重建阶段。提供的代码片段展示了HAT类的定义，参数包括不同层的深度、注意力头数量、窗口大小等。欲了解更多详情和配置，请参考给定链接。
YOLO创新改进大师
129 1
YOLO创新改进大师
|
5月前
|
存储 机器学习/深度学习 计算机视觉
【YOLOv8改进-卷积Conv】 OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化
**OREPA**是在线卷积重参数化的缩写，它提出了一种两阶段流程来减少深度模型训练的开销。该方法通过线性缩放层优化复杂训练块，并在训练完成后将其压缩为单个卷积层，降低内存使用和提高训练速度。与现有技术相比，OREPA能减少约70%的训练内存开销，提升2倍训练速度，并在ImageNet上提高最多0.6%的准确性。此外，它还在目标检测和语义分割任务中表现出色。论文和代码可在提供的链接中找到。
YOLO创新改进大师
67 3