一、本文介绍

本文记录的是基于Mobile MQA模块的YOLOv11目标检测改进方法研究。MobileNetv4中的Mobile MQA模块是用于模型加速，减少内存访问的模块，相比其他全局的自注意力，==其不仅加强了模型对全局信息的关注，同时也显著提高了模型效率。==

专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
专栏地址：YOLOv11改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

二、Mobile MQA注意力原理

在论文《MobileNetV4 - Universal Models for the Mobile Ecosystem》中，提出了Mobile MQA。

一、原理

1. 基于MQA改进并结合不对称空间下采样：
   • MQA（Multi-Query Attention）简化了传统的多头注意力机制，通过共享keys和values来减少内存访问需求。在移动混合模型中，当批量大小较小时，这种方式能有效提高运算强度。
   • 借鉴MQA中对queries、keys和values的不对称计算方式，Mobile MQA引入了空间缩减注意力（SRA），对keys和values进行下采样，同时保持高分辨率的queries。这是因为在混合模型中，早期层的空间混合卷积滤波器使得空间上相邻的标记具有相关性。
   • Mobile MQA的计算公式为：
     $$Mobile\_MQA(X)= Concat(attention_1,...,attention_n)W^{O}$$
     其中$attention_j = softmax(\frac{(XW^{Q_j})(SR(X)W^{K})^{T}}{\sqrt{d_k}})(SR(X)W^{V})$，这里SR可以是空间缩减操作（在设计中是一个步长为2的3x3深度卷积），也可以是恒等函数（当不进行空间缩减时）。

二、特点

1. 针对加速器优化：专门为移动加速器进行了优化，考虑了移动加速器的计算和内存特性。
2. 不对称空间下采样：通过对keys和values进行下采样，保持queries的高分辨率，在不损失太多精度的情况下，显著提高了效率。
3. 操作简单高效：相比传统的注意力机制，Mobile MQA的设计更加简单，操作更加高效，更适合在移动设备上运行。

论文：http://arxiv.org/abs/2404.10518
源码：https://github.com/tensorflow/models/blob/master/official/vision/modeling/backbones/mobilenet.py

三、实现代码及YOLOv11修改步骤

模块完整介绍、个人总结、实现代码、模块改进、二次创新以及各模型添加步骤参考如下地址：

https://blog.csdn.net/qq_42591591/article/details/143569427