备案控制台
开发者社区 人工智能 文章 正文

【YOLOv8改进】LSKA(Large Separable Kernel Attention)：大核分离卷积注意力模块 (论文笔记+引入代码)

2024-06-01 104
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： YOLO目标检测专栏介绍了大可分卷积核注意力模块LSKA，用于解决VAN中大卷积核效率问题。LSKA通过分解2D卷积为1D卷积降低计算复杂度和内存占用，且使模型关注形状而非纹理，提高鲁棒性。在多种任务和数据集上，LSKA表现优于ViTs和ConvNeXt，代码可在GitHub获取。基础原理包括LSKA的卷积核分解设计和计算效率优化。示例展示了LSKA模块的实现。更多详情及配置参见相关链接。

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

摘要

带有大卷积核注意力（LKA）模块的视觉注意网络（VAN）在一系列基于视觉的任务上表现出色，超越了视觉Transformer（ViTs）。然而，这些LKA模块中的深度卷积层随着卷积核尺寸的增加，会导致计算和内存占用的二次增长。为了解决这些问题并使在VAN的注意力模块中使用超大卷积核成为可能，我们提出了一种大可分卷积核注意力模块家族，称为LSKA。LSKA将深度卷积层的二维卷积核分解为串联的水平和垂直一维卷积核。与标准LKA设计不同，这种分解方法使得可以直接在注意力模块中使用带有大卷积核的深度卷积层，而不需要额外的模块。我们证明了在VAN中使用的LSKA模块可以在计算复杂度和内存占用更低的情况下，达到与标准LKA模块相当的性能。我们还发现，随着卷积核尺寸的增加，提出的LSKA设计使VAN更倾向于关注物体的形状而不是纹理。此外，我们还在五种受损版本的ImageNet数据集上，对VAN、ViTs以及最新的ConvNeXt中的LKA和LSKA模块进行了稳健性基准测试，这些数据集在以往的工作中很少被探索。我们广泛的实验结果表明，随着卷积核尺寸的增加，提出的VAN中的LSKA模块显著减少了计算复杂度和内存占用，同时在对象识别、对象检测、语义分割和稳健性测试上表现优于ViTs、ConvNeXt，并与VAN中的LKA模块性能相当。代码可在 https://github.com/StevenLauHKHK/Large-Separable-Kernel-Attention 获得。

基本原理

Large Separable Kernel Attention (LSKA)是一种新颖的注意力模块设计，旨在解决Visual Attention Networks (VAN)中使用大内核卷积时所面临的计算效率问题。LSKA通过将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核，从而实现了对大内核的直接使用，无需额外的模块。

概述

  1. 基本设计：

    • LSKA将2D深度卷积层的卷积核分解为级联的水平和垂直1-D卷积核。
    • 这种分解设计使得LSKA可以直接使用深度卷积层的大内核，无需额外的模块或计算。

  2. 计算效率：

    • LSKA的设计降低了参数数量的增长，从而降低了计算复杂度和内存占用。
    • 通过级联1-D卷积核的方式，LSKA在处理大内核时能够保持高效性能。

  3. 形状和纹理偏好：

    • LSKA设计使得模块更加偏向于对象的形状而非纹理。
    • 这种偏好有助于提高模型对对象形状的学习能力，从而提高模型的鲁棒性和泛化能力。

总的来说，LSKA通过巧妙的卷积核分解设计，实现了对大内核的高效利用，同时保持了模型的性能和鲁棒性。其技术原理使得LSKA成为一种有潜力的注意力模块设计，可以在VAN等视觉任务中发挥重要作用。

yolov8 引入


# 定义一个名为LSKA的神经网络模块类，继承自nn.Module
class LSKA(nn.Module):
    def __init__(self, dim, k_size):
        # 初始化LSKA类，dim为通道数，k_size为卷积核大小
        super().__init__()

        self.k_size = k_size  # 保存卷积核大小

        # 根据k_size的不同值，初始化不同的卷积层
        if k_size == 7:
            # 水平和垂直方向上的第一层卷积
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            # 空间卷积层，带有膨胀参数
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,2), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=(2,0), groups=dim, dilation=2)
        elif k_size == 11:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 3), stride=(1,1), padding=(0,(3-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(3, 1), stride=(1,1), padding=((3-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,4), groups=dim, dilation=2)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=(4,0), groups=dim, dilation=2)
        elif k_size == 23:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 7), stride=(1,1), padding=(0,9), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(7, 1), stride=(1,1), padding=(9,0), groups=dim, dilation=3)
        elif k_size == 35:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 11), stride=(1,1), padding=(0,15), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(11, 1), stride=(1,1), padding=(15,0), groups=dim, dilation=3)
        elif k_size == 41:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 13), stride=(1,1), padding=(0,18), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(13, 1), stride=(1,1), padding=(18,0), groups=dim, dilation=3)
        elif k_size == 53:
            self.conv0h = nn.Conv2d(dim, dim, kernel_size=(1, 5), stride=(1,1), padding=(0,(5-1)//2), groups=dim)
            self.conv0v = nn.Conv2d(dim, dim, kernel_size=(5, 1), stride=(1,1), padding=((5-1)//2,0), groups=dim)
            self.conv_spatial_h = nn.Conv2d(dim, dim, kernel_size=(1, 17), stride=(1,1), padding=(0,24), groups=dim, dilation=3)
            self.conv_spatial_v = nn.Conv2d(dim, dim, kernel_size=(17, 1), stride=(1,1), padding=(24,0), groups=dim, dilation=3)

        # 通道间卷积，用于融合信息
        self.conv1 = nn.Conv2d(dim, dim, 1)

    # 定义前向传播函数
    def forward(self, x):
        u = x.clone()  # 克隆输入张量
        attn = self.conv0h(x)  # 通过第一个水平卷积层
        attn = self.conv0v(attn)  # 通过第一个垂直卷积层
        attn = self.conv_spatial_h(attn)  # 通过第二个水平卷积层
        attn = self.conv_spatial_v(attn)  # 通过第二个垂直卷积层
        attn = self.conv1(attn)  # 通过1x1卷积层融合信息
        return u * attn  # 输入与注意力权重相乘后返回

task与yaml配置

详见：https://blog.csdn.net/shangyanaf/article/details/139249202

文章标签：
计算机视觉
测试技术
YOLO创新改进大师
目录
相关文章
clichong
|
机器学习/深度学习 PyTorch Go
YOLOv5的Tricks | 【Trick4】参数重结构化（融合Conv+BatchNorm2d）
这篇文章是想要记录yolov5在模型搭建过程中的一个融合模块，就是把卷积与批归一化的参数进行融合，想卷积带有批归一化的性质，使得推理过程中可以加快模型推理速度，简化整个模型结构，实现训练与推理两个阶段的解耦。
clichong
780 0
YOLOv5的Tricks | 【Trick4】参数重结构化（融合Conv+BatchNorm2d）
YOLO创新改进大师
|
1天前
|
存储 机器学习/深度学习 计算机视觉
【YOLOv8改进-卷积Conv】 OREPA(Online Convolutional Re-parameterization)：在线卷积重参数化
**OREPA**是在线卷积重参数化的缩写，它提出了一种两阶段流程来减少深度模型训练的开销。该方法通过线性缩放层优化复杂训练块，并在训练完成后将其压缩为单个卷积层，降低内存使用和提高训练速度。与现有技术相比，OREPA能减少约70%的训练内存开销，提升2倍训练速度，并在ImageNet上提高最多0.6%的准确性。此外，它还在目标检测和语义分割任务中表现出色。论文和代码可在提供的链接中找到。
YOLO创新改进大师
10 3
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 计算机视觉 知识图谱
【YOLOv8改进】ACmix(Mixed Self-Attention and Convolution) (论文笔记+引入代码)
YOLO目标检测专栏探讨了YOLO的改进，包括卷积和自注意力机制的创新结合。研究发现两者在计算上存在关联，卷积可分解为1×1卷积，自注意力也可视为1×1卷积的变形。由此提出ACmix模型，它整合两种范式，降低计算开销，同时提升图像识别和下游任务的性能。ACmix优化了移位操作，采用模块化设计，实现两种技术优势的高效融合。代码和预训练模型可在相关GitHub和MindSpore模型库找到。 yolov8中引入了ACmix模块，详细配置参见指定链接。
YOLO创新改进大师
38 5
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 编解码 测试技术
【YOLOv8改进】LSKNet(Large Selective Kernel Network ):空间选择注意力 (论文笔记+引入代码)
YOLO目标检测专栏介绍了YOLO的有效改进和实战应用，包括卷积、主干网络、注意力机制和检测头的创新。提出的新模型LSKNet利用大型选择性核关注遥感场景的先验知识，动态调整感受野，提升目标检测效果。创新点包括LSKblock Attention、大型选择性核网络和适应性感受野调整。LSKNet在多个遥感检测基准上取得最优性能，且结构轻量。此外，文章提供了YOLOv8的LSKNet实现代码。更多详情可查阅相关专栏链接。
YOLO创新改进大师
58 3
长发和小虎牙
|
27天前
|
机器学习/深度学习 计算机视觉
YOLOv5改进 | 卷积模块 | 将Conv替换为轻量化的GSConv【原理 + 完整代码】
在这个教程中，作者介绍了如何将YOLOv5中的Conv模块替换为新型轻量级卷积GSConv，以实现模型瘦身并保持准确性。GSConv结合了分组卷积和空间卷积，减少了计算量。文章详细阐述了GSConv的原理，并提供了添加GSConv到YOLOv5的代码实现步骤。此外，还提到了Slim-neck by GSConv技术，它通过通道压缩和高效连接优化网络结构。读者可以获取完整代码进行实践，适用于资源受限的环境，如移动设备和实时应用。
长发和小虎牙
61 3
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 算法 计算机视觉
【YOLOv8改进】CPCA(Channel prior convolutional attention)中的通道注意力,增强特征表征能力 (论文笔记+引入代码)
该专栏聚焦YOLO目标检测的创新改进与实战，介绍了一种针对医学图像分割的通道优先卷积注意力（CPCA）方法。CPCA结合通道和空间注意力，通过多尺度深度卷积提升性能。提出的CPCANet网络在有限计算资源下，于多个数据集上展现优越分割效果。代码已开源。了解更多详情，请访问提供的专栏链接。
YOLO创新改进大师
174 7
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力 (论文笔记+引入代码)
YOLO目标检测专栏介绍了创新的多尺度注意力模块EMA，它强化通道和空间信息处理，同时降低计算负担。EMA模块通过通道重塑和并行子网络优化特征表示，增强长距离依赖建模，在保持效率的同时提升模型性能。适用于图像分类和目标检测任务，尤其在YOLOv8中表现出色。代码实现和详细配置可在文中链接找到。
YOLO创新改进大师
72 2
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 编解码 PyTorch
【YOLOv8改进】HAT(Hybrid Attention Transformer,)混合注意力机制 (论文笔记+引入代码)
YOLO目标检测专栏介绍了YOLO系列的改进方法和实战应用，包括卷积、主干网络、注意力机制和检测头的创新。提出的Hybrid Attention Transformer (HAT)结合通道注意力和窗口自注意力，激活更多像素以提升图像超分辨率效果。通过交叉窗口信息聚合和同任务预训练策略，HAT优化了Transformer在低级视觉任务中的性能。实验显示，HAT在图像超分辨率任务上显著优于现有方法。模型结构包含浅层和深层特征提取以及图像重建阶段。此外，提供了HAT模型的PyTorch实现代码。更多详细配置和任务说明可参考相关链接。
YOLO创新改进大师
47 2
YOLO创新改进大师
|
29天前
|
机器学习/深度学习 测试技术 计算机视觉
【YOLOv8改进】DAT（Deformable Attention）：可变性注意力 (论文笔记+引入代码)
YOLO目标检测创新改进与实战案例专栏探讨了YOLO的有效改进，包括卷积、主干、注意力和检测头等机制的创新，以及目标检测分割项目的实践。专栏介绍了Deformable Attention Transformer，它解决了Transformer全局感受野带来的问题，通过数据依赖的位置选择、灵活的偏移学习和全局键共享，聚焦相关区域并捕获更多特征。模型在多个基准测试中表现优秀，代码可在GitHub获取。此外，文章还展示了如何在YOLOv8中应用Deformable Attention。
YOLO创新改进大师
45 1
YOLO创新改进大师
|
10天前
|
机器学习/深度学习 编解码 算法
【YOLOv8改进】MLCA(Mixed local channel attention):混合局部通道注意力(论文笔记+引入代码)
**摘要：** 本文提出轻量级MLCA模块，结合通道、空间、局部及全局信息，提升网络表达效率。在MobileNet-Attention-YOLO(MAY)中应用MLCA，于PASCAL VOC和SMID数据集上对比SE和CA，mAP提升1.0%和1.5%。论文及代码链接提供。MLCA通过局部池化和反池化处理，增强通道交互和空间信息，实现更精确的目标检测。详情见YOLO改进与实战专栏。
YOLO创新改进大师
25 0

热门文章

最新文章

  • 1
    前端常见兼容问题系列6: 一些安卓APP的WebView中<input type="file">不工作
  • 2
    SpringCloud Alibaba
  • 3
    无法初始化SFTP协议。主机是SFTP服务器吗
  • 4
    CentOS6、7编译安装FFmpeg
  • 5
    UI自动化测试分析与实践 | F2etest&UIRecorde
  • 6
    MySQL无损复制
  • 7
    shell引用脚本绝对路径
  • 8
    容器云落地的痛点
  • 9
    Go语言中的匿名函数和闭包的样子
  • 10
    《C++语言基础》程序阅读——构造函数和析构函数
  • 1
    大事件项目19_个人中心_基本资料调接口更新保存
    20
  • 2
    大事件项目18_个人中心_基本资料组件准备和路由
    17
  • 3
    手机kali终端，集成安全集成工具----使用arpspoof工具给电脑断网------断网，网络攻击手段
    16
  • 4
    视频弹幕设计网站02-----数据库设计与后端配置
    23
  • 5
    怎么打开设备管理器
    16
  • 6
    大事件项目17----Vue项目引入Echarts
    17
  • 7
    视频弹幕网站设计01-我爱发弹幕
    16
  • 8
    阿里云新手入门：注册账号、实名认证、申请免费云服务器
    20
  • 9
    课程设计——基于FPGA的共享单车计费器设计（含源码）
    15
  • 10
    大事件项目15----axios响应拦截器，统一判断401做被动退出
    17

    • 相关电子书

    更多
  • 机器能理解上下文吗-RNN和LSTM神经网络的原理及应用
  • 机器能理解上下文吗 RNN和LSTM神经网络的原理及应用
  • 典型模型-卷积神经网络入门 从概念原理到应用实现

    • 相关实验场景

    更多
  • 使用PAI-快速开始，低代码实现大语言模型微调和部署
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）