YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注

简介: YOLOv11改进策略【模型轻量化】| 替换骨干网络为 ICCV 2023的EfficientViT 用于高分辨率密集预测的多尺度线性关注

一、本文介绍

本文记录的是基于EfficientViT的YOLOv11轻量化改进方法研究EfficientViT通过构建多尺度线性注意力模块将全局感受野与多尺度学习相结合,并以此模块为核心构建网络,构建轻量级且硬件高效的操作,以提升性能并降低硬件部署难度。

本文在替换骨干网络中配置了原论文中的EfficientViT_M0EfficientViT_M1EfficientViT_M2EfficientViT_M3EfficientViT_M4EfficientViT_M56种模型,以满足不同的需求。

模型 参数量 计算量 推理速度
YOLOv11m 20.0M 67.6GFLOPs 3.5ms
Improved 11.8M 31.1GFLOPs 3.2ms

专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址:YOLOv11改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!

二、EfficientViT结构详解

EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction

2.1 设计出发点

  • 解决高分辨率密集预测模型的部署难题:高分辨率密集预测在现实世界有广泛应用,但现有先进模型计算成本高,难以在硬件设备上部署。
  • 兼顾性能与硬件效率:之前的模型通过复杂结构或硬件低效操作获得性能,EfficientViT旨在用轻量级且硬件高效的操作实现全局感受野和多尺度学习,以提升性能并降低硬件部署难度。

2.2 原理

2.2.1 多尺度线性注意力模块(Multi - Scale Linear Attention)

  • ReLU线性注意力实现全局感受野:使用ReLU线性注意力替代softmax注意力来实现全局感受野。在ReLU线性注意力中,相似性函数定义为$Sim(Q, K)=ReLU(Q)ReLU(K)^{T}$,通过矩阵乘法的结合律,可将计算复杂度从二次降为线性,同时避免了softmax等硬件低效操作。
  • 解决ReLU线性注意力的局限性ReLU线性注意力因缺乏非线性相似函数,难以生成集中的注意力图,捕捉局部信息能力弱。为此,在每个FFN层插入深度可分离卷积(depthwise convolution)来增强局部信息捕捉能力。
  • 实现多尺度学习:通过聚合附近的Q/K/V tokens生成多尺度tokens,使用小核深度可分离卷积进行信息聚合,避免影响硬件效率。在实际实现中利用组卷积减少总操作数。对多尺度tokens执行ReLU线性注意力,将全局感受野与多尺度学习相结合

    2.2.2 基于多尺度线性注意力构建EfficientViT

    以提出的多尺度线性注意力模块为核心构建块(EfficientViT Module),采用标准的骨干 - 头部/编码器 - 解码器架构设计模型。

在这里插入图片描述

2.3 结构

2.3.1 骨干(Backbone)

遵循标准设计,由输入干(input stem)和四个阶段组成,特征图大小逐渐减小,通道数逐渐增加。在第3和第4阶段插入EfficientViT模块,下采样使用步长为2MBConv

2.3.2 头部(Head)

将第2、3、4阶段的输出(P2、P3、P4)形成特征图金字塔,通过1x1卷积标准上采样操作调整空间和通道大小,并通过加法融合。头部采用简单设计,包含几个MBConv块和输出层(预测和上采样)。

在这里插入图片描述

2.4 优势

  • 性能提升
    • 语义分割:在Cityscapes和ADE20K数据集上,与之前的先进模型相比,在提高效率的同时保持或提高了mIoU。例如在Cityscapes上,与SegFormer相比,EfficientViT在边缘GPU上可节省高达13x的#MACs,降低高达8.8x的延迟,且mIoU更高。
    • 超分辨率:在轻量级超分辨率任务中,在BSD100上与基于CNN的先进方法相比,保持相同或更低GPU延迟的同时,PSNR提高高达0.09dB;与基于ViT的先进方法相比,GPU加速高达5.4×且PSNR相同。在高分辨率超分辨率任务中,与Restormer相比,GPU加速高达6.4×,PSNR提高0.11dB。
    • 实例分割(Segment Anything):构建的EfficientViT - SAM模型在A100 GPU上吞吐量比SAM - ViT - Huge提高48.9×,且在COCO上的零射击实例分割性能略优。
  • 硬件效率高:模型不涉及硬件低效操作,#FLOPs的降低可直接转化为硬件设备上的延迟降低,在移动CPU、边缘GPU和云GPU等多种硬件平台上均实现显著加速。

论文:https://arxiv.org/pdf/2205.14756
源码:https://github.com/mit-han-lab/efficientvit

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址:

https://blog.csdn.net/qq_42591591/article/details/143285563

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
目录
相关文章
|
25天前
|
安全 KVM 虚拟化
Cisco Identity Services Engine (ISE) 3.4 - 基于身份的网络访问控制和策略实施系统
Cisco Identity Services Engine (ISE) 3.4 - 基于身份的网络访问控制和策略实施系统
93 2
Cisco Identity Services Engine (ISE) 3.4 - 基于身份的网络访问控制和策略实施系统
|
30天前
|
机器学习/深度学习 数据采集 运维
匹配网络处理不平衡数据集的6种优化策略:有效提升分类准确率
匹配网络是一种基于度量的元学习方法,通过计算查询样本与支持集样本的相似性实现分类。其核心依赖距离度量函数(如余弦相似度),并引入注意力机制对特征维度加权,提升对关键特征的关注能力,尤其在处理复杂或噪声数据时表现出更强的泛化性。
73 6
匹配网络处理不平衡数据集的6种优化策略:有效提升分类准确率
|
7天前
|
监控 安全 Devops
DevOps 流水线的网络安全盲区与防御策略
在软件研发中,DevOps流水线加速了开发与交付,但也带来严重安全风险。自动化节点和第三方集成成为攻击入口,凭证泄露、供应链渗透、配置错误和依赖混乱等问题频发。企业需构建全流程安全体系,嵌入自动化安全策略,强化访问控制与监控,提升全员安全意识,实现效率与安全的协同发展。
284 0
|
7月前
|
人工智能 安全 网络安全
网络安全领导者有效缓解团队倦怠的四步策略
网络安全领导者有效缓解团队倦怠的四步策略
|
2月前
|
存储 监控 算法
基于 Python 跳表算法的局域网网络监控软件动态数据索引优化策略研究
局域网网络监控软件需高效处理终端行为数据,跳表作为一种基于概率平衡的动态数据结构,具备高效的插入、删除与查询性能(平均时间复杂度为O(log n)),适用于高频数据写入和随机查询场景。本文深入解析跳表原理,探讨其在局域网监控中的适配性,并提供基于Python的完整实现方案,优化终端会话管理,提升系统响应性能。
74 4
|
7月前
|
机器学习/深度学习 计算机视觉
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
264 10
RT-DETR改进策略【Neck】| ECCV-2024 RCM 矩形自校准模块 优化颈部网络
|
7月前
|
机器学习/深度学习
RT-DETR改进策略【Neck】| GSConv+Slim Neck:混合深度可分离卷积和标准卷积的轻量化网络设计
RT-DETR改进策略【Neck】| GSConv+Slim Neck:混合深度可分离卷积和标准卷积的轻量化网络设计
289 11
|
9月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
221 17
|
9月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
174 10
|
9月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。