人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：Meta LLaMA 家族系列第 02 篇——LLaMA 3 与 3.1：15T 数据飞轮、405B 开源旗舰与「教师蒸馏家族」结构。与 llm-基础理论第 02/04 篇（缩放/效率）衔接。
免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。
第 02 篇 · LLaMA 3 / 3.1：数据飞轮与 405B 旗舰
导读
LLaMA 2 是「企业能用」，LLaMA 3 是「能力能打」。Meta 在 2024 年干了三件事：把数据从 2T 翻到 15T（当时开源最大语料）、把 8B 小模型做到 128K 上下文、用 405B 证明「开源旗舰 = 世界第一梯队」。并且发明了可复制的产品结构：旗舰教师 → 蒸馏学生家族。
一、LLaMA 3（2024-04）：数据飞轮启动
1.1 规模数字
模型：8B / 70B（Dense）；
数据：15T token（LLaMA 2 的 7.5 倍，约等于 45 个 Wikipedia）；
上下文：初版 8K → 官方后续更新至 128K；
性能：8B 打平 LLaMA 2 70B；70B 对标当时闭源旗舰（GPT-4 级别部分基准）。
1.2 为什么数据暴涨有效
缩放定律的「数据轴」（llm-理论 02）：N 与 D 同比例涨，能力才能持续爬坡；
质量过滤同步升级（多语言 + 代码 + 推理语料配比）——不只多，还要杂而精；
意义：「数据工程能力」成为 Meta 开源护城河——此后各家（Qwen/DeepSeek）也进入「数据军备竞赛」。
二、LLaMA 3.1（2024-07）：405B 旗舰 + 蒸馏家族
2.1 405B：开源史上最大开放权重
405B 旗舰：对标当时最强闭源（GPT-4o/Claude 3.5）多数基准持平；
多语言 + 128K 上下文 + 工具调用原生支持；
训练：15T 高质量数据 + 后训练对齐（SFT + 偏好优化）——把闭源旗舰的完整训练管线搬到开源。
2.2 「教师蒸馏」家族结构（最重要的方法论）
用 405B 当「教师」，生成高质量数据训练 8B/70B「学生」；
结果：8B/70B 的小模型显著强于「自己单独练大」——旗舰的成本由家族共享；
意义：定义「一个旗舰 + 多个蒸馏档位」的产品结构（后来 Qwen/DeepSeek 全部照做：Qwen3-Max 蒸馏家族、R1-Distill）。
💡 学习要点：405B 的意义 =「开源的旗舰天花板被顶开」此前开源 = 中端模型；405B 证明开源也能拥有「闭源级教师」——而教师的存在，让全家桶（8B/70B）都能受益。蒸馏（llm-理论 04）从技巧变成产品战略。
三、LLaMA 3.2（2024-09）：端侧与视觉
1B/3B：手机端侧可跑（语音摘要、本地助手）；
11B/90B：视觉分支（图文理解）——LLaMA 首度多模态；
意义：补齐「端侧 + 视觉」两块拼图，为 LLaMA 4 的原生多模态 MoE 铺路。
四、本篇要点（复习卡片）
1LLaMA 3：15T 数据（7.5 倍）+ 8B/70B + 128K 上下文——数据飞轮启动。
2数据工程：量（15T）× 质（多语言/代码/推理配比）= 开源护城河。
3LLaMA 3.1：405B 开源旗舰 ≈ 闭源第一梯队；多语言 + 工具调用原生。
4教师蒸馏：旗舰教师 + 学生家族 = 可复制的产品结构（Qwen/DeepSeek 均跟进）。
53.2：端侧 1B/3B + 视觉 11B/90B——补齐拼图，指向下代多模态 MoE。
五、下一篇预告
第 03 篇：LLaMA 4——架构级转向：放弃「一个劲儿做大的 Dense」，改用 MoE + 原生多模态。Scout（17B×16E=109B，10M 上下文）/ Maverick（17B×128E=400B，1M 上下文），单卡 H100 就能跑 Scout（int4）。LLaMA 4 = Meta 对「效率革命 + 多模态」两大 2025 潮流的官方答卷。
参考资料
[官方] Introducing Meta Llama 3（2024-04）：https://ai.meta.com/blog/meta-llama-3/
[官方] The Llama 3 Herd of Models（405B 技术报告，2024）：https://arxiv.org/abs/2407.21783
[官方] Llama 3.2 发布（2024-09）：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile/
整理：2026-10-01 月绡凝 · 依据官方技术报告。
