一、本文介绍
本文给大家带来的改进机制是主干网络，一个名字EfficientViT的特征提取网络(和之前发布的只是同名但不是同一个)，其基本原理是提升视觉变换器在高效处理高分辨率视觉任务的能力。它采用了创新的建筑模块设计，包括三明治布局和级联群组注意力模块。其是一种高效率的特征提取网络训练速度非常快，推理速度也要比基础版本的要快，其效果完爆之前的MobileNetV3等轻量化网络模型。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
欢迎大家订阅我的专栏一起学习YOLO!
专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
二、EfficientViT原理
2.1 EfficientViT的基本原理
EfficientViT的基本原理是提升视觉变换器在高效处理高分辨率视觉任务的能力。它采用了创新的建筑模块设计，包括三明治布局和级联群组注意力模块。
1. 三明治布局：在前馈神经网络（FFN）层之间使用单个受内存限制的多头自注意力机制（MHSA），以提高内存效率。
2. 级联群组注意力模块：通过将不同的特征分割喂给不同的注意力头，减少计算冗余，并提高注意力的多样性。
下面为大家展示了EfficientViT的整体架构和关键组成部分：
(a). 架构概览：EfficientViT的整体架构分为三个阶段，每个阶段都包含了若干EfficientViT块，随着阶段的进展，特征图的维度会减小，而通道数会增加。
(b). 三明治布局块：展示了EfficientViT块的内部结构，它采用了一种三明治布局，其中的自注意力层（绿色部分）被两层前馈神经网络（FFN）夹在中间。
(c). 级联群组注意力：这是一个创新的注意力机制，通过将输入特征分割成不同的部分，分别喂给
不同的注意力头。
