人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：LLM 基础理论发展系列第 04 篇——效率革命。对齐让模型「乖」，但千亿参数推理太贵。本篇讲四件武器：MoE 稀疏化、量化压缩、蒸馏、长上下文工程——以及 DeepSeek-V2/V3 如何成为这场革命的集大成者。免责声明：本文为学习与技术分享用途，技术细节以原论文为准。
第 04 篇 · 效率革命：让大模型「用得起」
导读
第 02 篇说「越大越强」，第 03 篇说「越乖越好」——但有个现实问题：钱。1750 亿参数每回答一次都要点亮一整块 A100 集群。2021 年起，行业从「无脑做大」转向「同样的能力，更少的算力」：MoE 让大部分参数闲置、量化让权重瘦身、蒸馏让小学徒继承大师功力、长上下文让一次装下整本书。DeepSeek 系列的主线剧情，就是这场效率革命。 读懂本篇，就读懂 DeepSeek 为什么能「白菜价」。
一、MoE（混合专家）：稀疏化的力量
1.1 核心思想
不是每个 token 都需要所有参数。MoE（Mixture of Experts）把 FFN 层拆成 N 个「专家」，每个 token 只激活其中 K 个（K≪N）：
code
总参数量 = N 个专家（大而全）
单次计算 = 只过 K 个专家（小而快）
1.2 关键论文与产品
| 里程碑 | 贡献 |
|---|---|
| Switch Transformer（Google，2021） | MoE 正式搬进 Transformer，证明稀疏化可规模化 |
| Mixtral（Mistral，2023） | 首个开源的强 MoE（8×7B），把「专家」概念普及给大众 |
| DeepSeek-V2（2024） | MLA + 240 专家 + 细粒度路由：推理成本暴降，行业惊呼 |
| DeepSeek-V3（2024） | 671B 总参 / 37B 激活，把「高效 MoE」推到极致（第 5 篇 V3 深挖） |
1.3 MoE 的代价
通信开销：专家可能分散在多卡，需要 all-to-all 通信；
负载不均衡：热门专家被挤爆——需要负载均衡损失；
路由质量：路由器选错专家会掉性能（DeepSeek 用细粒度 + 无辅助损失均衡应对）。
💡 学习要点：MoE =「藏书很多，一次只翻几本」总参数量决定「知识上限」，激活参数决定「单次成本」。省钱的关键不是少藏书，而是少翻书。 DeepSeek 系列反复强调「激活参数」就是此意。
二、量化：给权重「瘦身」
2.1 思想
权重本来存 16/32 位浮点，量化成 8/4/2 位整数——精度略降，显存与带宽大减，推理提速。
code
16 位（2 字节）× 100B 参数 ≈ 200GB 显存（一块卡装不下）
4 位（0.5 字节）× 100B 参数 ≈ 50GB（两张卡搞定）
2.2 关键方法
| 方法 | 特点 |
|---|---|
| GPTQ（2022） | 按层做二阶误差补偿，4bit 精度损失小（开源标配） |
| AWQ（2023） | 按「重要通道」保护，无需重训练（LLaMA 系常用） |
| 训练感知量化（QAT） | 训练时就模拟量化误差，精度最高但贵 |
| FP8 训练（DeepSeek-V3） | 训练阶段直接用 FP8，省一半显存还几乎不掉精度 |
2.3 意义
推理成本降一个量级 → 端侧/私有大模型成为可能；
但量化损失不可逆：位数越低，越可能「掉智商」——所以量化是工程权衡不是免费午餐。
💡 学习要点：量化 =「压缩包」哲学与图片压缩同构：肉眼（模型能力）看不出差别时，尽量压。量化 + MoE 双管齐下，是 2024 年后「百亿级模型平民化」的底层原因。
三、蒸馏：让小学徒继承大师
3.1 思想
大模型（教师）生成高质量数据（或概率分布），小模型（学生）照着学——能力下放，成本陡降。
经典形式：学生学教师的软标签（概率分布，含「不确定度」信息）比学硬标签更好；
今日主流：教师模型批量产「指令-回答-推理过程」数据 → 小模型 SFT（如许多开源小模型都靠 GPT-4/Claude 蒸馏数据训练）。
3.2 边界与争议
蒸馏只能「继承已表现出的能力」，不能创造新能力；
「用数据蒸馏」与「直接抄」的伦理/版权争议（行业持续争论中）。
💡 学习要点：蒸馏 =「老师带徒弟」小模型打不过大模型，但大模型足够便宜地教出「够用」的小模型——这是开源社区把小模型玩出花的秘诀。
四、长上下文：让模型「一次读完一本书」
4.1 为什么长上下文难
自注意力是 O(n²)：token 数翻倍，计算量翻 4 倍——长度是效率的第一杀手。
4.2 工程方案演进
| 方案 | 思路 | 代表 |
|---|---|---|
| ALiBi（2022） | 不学位置编码，按距离线性衰减注意力 | MosaicML、部分开源模型 |
| RoPE（2021） | 旋转位置编码，外推性好 | LLaMA、DeepSeek、Qwen 全家 |
| 稀疏/滑窗注意力 | 只让近邻 token 相互注意 | V3.2/长上下文产品 |
| 无限注意力/检索增强 | 不塞进上下文，外挂知识库（RAG） | 各类 Agent 应用 |
4.3 意义
上下文从 2K → 32K → 128K → 1M：「喂给模型的东西」本身就是算力成本，长上下文 = 更大的应用面（读代码库、长文档、Agent 记忆）；
DeepSeek-V4 一代做到百万级上下文 + 多模态（其家族系列第 8 篇详讲）。
💡 学习要点：长上下文 =「内存管理」问题人类不会把整本书背进大脑，而是翻到哪页读哪页——稀疏注意力/检索就是在教模型「翻书」而不是「背书」。
五、效率革命的合流：DeepSeek 为什么便宜
MoE：总参 671B、激活 37B——知识上限高、单次成本低；
MLA：把 KV 缓存压到 1/16，长上下文不再「爆炸」；
FP8 训练 + 无辅助损失均衡：训练省显存、路由更稳；
蒸馏 + 推理训练：R1 蒸馏出小模型系列，白菜价「继承」推理能力。
结论：效率不是技术细节，而是商业模式——谁把「同样能力」做便宜，谁就能规模化商用。这是理解 DeepSeek 全系列的第一性视角。
六、本篇要点（复习卡片）
1MoE：总参数决定上限、激活参数决定成本；Switch→Mixtral→DeepSeek-V2/V3。
2量化：GPTQ/AWQ 推理压缩、FP8 训练压缩——省显存提速，精度有代价。
3蒸馏：教师产数据、学生照着学——能力下放、成本陡降，但无创造力。
4长上下文：O(n²) 是敌人；ALiBi/RoPE/稀疏注意力/RAG 是武器。
5合流：MoE+量化+蒸馏+长上下文 = DeepSeek 成本优势的完整拼图。
七、下一篇预告
第 05 篇：推理时代——效率让模型「用得起」，对齐让模型「信得过」，但 GPT-3 时代的「算不对 9×9」问题还在。2022 年 Chain-of-Thought 发现「让模型一步步想」，2024 年 o1 把「想」变成可训练能力（测试时扩展），2025 年 DeepSeek-R1 证明纯强化学习就能涌现推理。这是从「会说话」到「会思考」的分水岭。
参考资料
[官方] Switch Transformers（Fedus et al., 2021）：https://arxiv.org/abs/2101.03961
[官方] GPTQ（Frantar et al., 2022）：https://arxiv.org/abs/2210.17323
[官方] AWQ（Lin et al., 2023）：https://arxiv.org/abs/2306.00978
[官方] RoPE（Su et al., 2021）：https://arxiv.org/abs/2104.09864
[官方] Train Short, Test Long: ALiBi（Press et al., 2021）：https://arxiv.org/abs/2108.12409
[参考] Mixtral of Experts（Mistral，2023）：https://arxiv.org/abs/2401.04088
整理：2026-10-01 月绡凝 · 依据原论文。
