注意力机制是Transformer架构的核心，允许模型在处理序列时动态地关注重要信息。
🏗️ 注意力机制类型
1️⃣ 自注意力机制 (Self-Attention, SA)
原理：序列中的每个元素关注序列中的其他所有元素
数学公式：
Self-Attention(X)=softmax(
d
k
​

​

XW
Q
​
(XW
K
​
)
T

​
)XW
V
​

代码示例：
2️⃣ 交叉注意力机制 (Cross-Attention, CA)
原理：一个序列关注另一个序列的信息
应用场景：
●
编码器-解码器架构
●
多模态融合
●
知识蒸馏
3️⃣ 多头注意力机制 (Multi-Head Attention, MHA)
原理：并行运行多个注意力头，捕获不同类型的关系
架构：
4️⃣ 分组注意力机制 (Grouped Query Attention, GQA)
原理：将查询头分组，每组共享键值头，平衡MHA和MQA
优势：
●
减少内存带宽需求
●
保持模型质量
●
推理加速
5️⃣ 多查询注意力机制 (Multi-Query Attention, MQA)
原理：所有查询头共享相同的键值头
特点：
●
显著减少内存带宽
●
推理速度提升
●
可能轻微影响质量
6️⃣ 多头潜在注意力 (Multi-Head Latent Attention, MLA)
原理：通过低秩投影减少键值缓存
DeepSeek创新：
●
低秩键值联合压缩
●
减少推理时KV缓存
●
保持表达能力
📊 注意力机制对比
机制
参数量
内存占用
推理速度
质量
MHA
高
高
慢
高
GQA
中
中
中
高
MQA
低
低
快
中
MLA
低
极低
快
高
🎯 面试重点
高频问题
1
自注意力和交叉注意力的区别？
2
为什么需要多头注意力？
3
GQA和MQA的权衡？
4
如何计算注意力权重？
5
注意力机制的时间和空间复杂度？
实战分析
1
2
3
4
5
6
7

计算注意力复杂度

def attention_complexity(seq_len, d_model, n_heads):

# 计算注意力矩阵: O(n²d)
# 存储KV缓存: O(nhd)
time_complexity = seq_len * seq_len * d_model
space_complexity = seq_len * n_heads * (d_model // n_heads)
return time_complexity, space_complexity

📚 深入阅读
●
Transformer基础结构
●
位置编码详解
●
[主流大模型结构](