人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：主人学习 LLM 的入门资料——DeepSeek 从最早公开模型到最新版本的原理演进整理（主人 10572 指令，2026-10-01）。以官方技术报告与论文为准。
DeepSeek 模型原理进化史
一、演进时间线总览
| 时间 | 模型 | 核心变化 |
|---|---|---|
| 2024-01 | DeepSeek LLM（2B/7B/67B） | 首个开源 LLM，打基础 |
| 2024-02 | DeepSeekMath（7B） | 数学推理专项 |
| 2024-05 | DeepSeek-V2（236B，21B 激活） | 架构转折：引入 MLA + DeepSeekMoE |
| 2024-09 | DeepSeek-V2.5 | V2 加固 |
| 2024-11 | DeepSeek-R1-Lite-Preview | 推理链预览 |
| 2024-12 | DeepSeek-V3（671B，37B 激活） | 效率巅峰：MLA+MoE+MTP+无辅助损失负载均衡+FP8 |
| 2025-01 | DeepSeek-R1（660B） | 推理突破：GRPO 强化学习，纯 RL 涌现推理（R1-Zero） |
| 2025-02 | DeepSeek-V3-0324 | V3 更新 |
| 2025-05 | DeepSeek-R1-0528 | R1 更新 |
| 2025-06 | DeepSeek-V3.1（Terminus） | 缓解中英混杂，优化 Code/Search Agent |
| 2025-09 | DeepSeek-V3.2-Exp | 引入 DeepSeek Sparse Attention 稀疏注意力，API 降价 50%+ |
| 2025-12 | DeepSeek-V3.2 正式版 | Agent 强化：首个将思考融入工具使用的模型，IMO/CMO/ICPC/IOI 金牌 |
| 2026-01 | mHC 架构 | 流形约束超连接，万亿参数训练稳定 |
| 2026-04 | DeepSeek-V4 预览版 | 百万上下文普惠：开源、超长上下文 |
| 2026-06 | DeepSeek-V4 论文 | Towards Highly Efficient Million-Token Context Intelligence |
| 2026-09 | DeepSeek-V4.1 Flash | 原生多模态：视觉理解，非对称结构，更快更省 |
二、两大主线：效率架构 + 推理强化
DeepSeek 的进化围绕两条主线交叉推进：
1效率架构线（V1→V2→V3→V4）：如何在有限算力下逼近顶级闭源模型——MoE 稀疏激活、MLA 压缩注意力、长上下文。
2推理强化线（R1→R1 蒸馏→V3.2→V4）：如何让模型「真正会思考」——强化学习、测试时扩展、Agent 能力。
三、关键技术点详解
- DeepSeekMoE（混合专家架构 · V2 引入，V3 定型）
核心思想：总参数储备知识上限，激活参数决定推理成本。
V3：总参数 6710 亿，单次推理仅激活约 370 亿（激活率约 5.5%）。256 个路由专家 + 1 个共享专家，每个 Token 仅激活 8 个专家。
无辅助损失负载均衡（V3 首创）：传统 MoE 需 aux-loss 防止专家闲置，DeepSeek 改用偏置项动态调节，训练更干净稳定。
V4：总参数 1.6 万亿（V4-Pro），激活 490 亿；V4-Flash 总参 2840 亿、激活 130 亿。每层 384 专家，激活 6 个。
- MLA（Multi-head Latent Attention · 多头潜在注意力 · V2 引入）
核心思想：对注意力键值（K/V）做低秩联合压缩，KV 缓存大幅缩小。
效果：KV 缓存压缩至传统 Transformer 的 1/8，显存占用减少约 93%。
意义：让长上下文推理从「不可能」变「标配」，是 V2→V3→V4 一路沿用的基础。
- MTP（Multi-Token Prediction · 多 Token 预测 · V3）
每次前向同时预测多个 Token，而非只预测下一个。
加速训练收敛、提升生成流畅度与质量。
- FP8 混合精度训练（V3）
训练用 FP8 低精度，配合块级量化与高精度乘法累积。
关键贡献之一：V3 全量训练仅 2.788M H800 GPU 小时（约 557.6 万美元），以极低成本对齐闭源顶级。
- GRPO（Group Relative Policy Optimization · R1）
R1 的核心：纯强化学习（无 SFT 起步）——R1-Zero 直接从基座模型用 RL 训出推理能力。
GRPO 替代 PPO：不训练 Critic 模型，用组内相对奖励做策略优化，省一半显存、更稳。
奖励设计：规则可验证任务（数学/代码）用确定性正确性奖励；开放任务用模型做奖励。
涌现现象：RL 中「Aha Moment」——模型自发产生反思、验证等长思维链行为。
- R1 蒸馏（2025-01）
用 R1（660B）的输出蒸馏出 6 个小模型（1.5B~70B），其中 32B/70B 多项能力对标 OpenAI o1-mini。
启示：推理能力可通过蒸馏「教」给更小模型，无需从头 RL。
- 稀疏注意力（Sparse Attention · V3.2-Exp 引入）
引入 DeepSeek Sparse Attention，长上下文注意力更省，API 价格降 50% 以上。
V4 升级为 CSA + HCA：CSA（压缩稀疏注意力）：连续 4 Token 的 KV 缓存合并为 1 个聚合单元，过滤局部冗余。HCA（重度压缩注意力）：远距离 Token 128 倍高压缩二次聚合，仅对核心摘要做全局注意力。效果：100 万 Token 上下文下，单 Token 推理 FLOPs 降至 V3.2 的 27%，KV 缓存占用降至 10%。对比：同样 100 万字上下文，Llama3.1 需 274GB KV 缓存，GLM-5 需 60GB，DeepSeek V4 仅 5.48GB。
- Engram 条件记忆引擎（V4）
存算解耦：模拟海马体，「书桌」（GPU）只放当前思考用的知识，「书架」（CPU/SSD）放静态知识。
通过 N-gram 哈希 + 近似最近邻检索实现 O(1) 级召回。
效果：Multi-Query NIAH 从 84.2% → 97.0%，静态知识查询快 100 倍，能耗降 90%。
- mHC（Manifold-Constrained Hyper-Connections · 2026-01）
解决万亿参数深网络的训练稳定性（信号爆炸/消失）。
核心：信息混合的可学习矩阵强制投影到双随机矩阵流形（每行每列和为 1），信号增益从 3000 倍压到 1.6 倍以内。
效果：1.6T 模型训练收敛稳定性提升 3.2 倍，额外开销仅 6.7%。
- 训练/推理系统工程（V3 起）
DualPipe：计算与通信重叠，减少流水线气泡。
跨节点 All-to-All 通信优化：优化 MoE 的专家分发网络开销。
FP8 低精度存储与通信：进一步压内存与带宽。
∞
四、进化逻辑总结（学习重点）
1参数做「加法」，激活做「减法」：MoE 让总参量能大就大、激活量能省就省——智能上限与推理成本解耦。
2注意力做「压缩」：MLA 压 KV 缓存、Sparse/CSA/HCA 压长上下文算力——长上下文从奢侈品变标配。
3训练做「省钱」：FP8 + DualPipe + 无 aux-loss，让前沿模型训练成本降两个数量级。
4推理做「强化」：GRPO 纯 RL 让模型自发「想」——推理不是 SFT 教出来的，是 RL 涌现的。
5能力做「多模态 + Agent」：V3.2 思考融入工具，V4.1 原生视觉——从「会说话」到「会做事、会看」。
五、资料源（供深入阅读）
DeepSeek 官方动态：https://www.deepseek.com/news/
DeepSeek-V3 技术报告（arXiv 2412.19437）
DeepSeek-V3.2 论文（arXiv 2512.02556）
DeepSeek-V4 论文（arXiv 2606.19348）
DeepSeek-R1 发布说明（api-docs.deepseek.com/news250120）
综述：DeepSeek: Paradigm Shifts and Technical Evolution（arXiv 2507.09955）
中文架构分析：腾讯云开发者社区《DeepSeek大模型：从"效率颠覆者"到"规模追赶者"的架构演进》
整理：2026-10-01 月绡凝 · 依据官方动态与技术报告；个别第三方文章数据以官方为准。
