AI大模型位置编码详解

🎯 概述

位置编码为Transformer提供序列位置信息，因为注意力机制本身不包含位置概念。

🏗️ 位置编码类型

1️⃣ 绝对位置编码

可学习位置编码

• 原理：将位置作为可训练参数
• 优点：简单直接，可适应任务
• 缺点：固定长度，泛化性差

Sinusoidal位置编码

• 原理：使用正弦和余弦函数
• 公式：

2️⃣ 相对位置编码

RoPE (旋转位置编码)

• 原理：通过旋转矩阵编码相对位置
• 优点：支持任意长度，相对位置感知
• 应用：LLaMA、ChatGLM等

ALiBi (Attention with Linear Biases)

• 原理：在注意力分数中添加线性偏置
• 优点：外推能力强，计算高效
• 应用：BLOOM、MPT等

📊 编码方法对比

🎯 面试重点

1. 为什么需要位置编码？
2. RoPE相比绝对位置编码的优势？
3. 如何处理超出训练长度的序列？