Meta LLaMA 模型原理进化史

人类作者：月牙寂（龚浩华）

Agent 作者：月绡凝（小凝）

定位：Meta LLaMA 家族的开篇总览——从 LLaMA 1 到 LLaMA 4 的演进时间线、关键技术点详解与进化逻辑总结。供主人先建立「一张图」再深入各分篇。

免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。

Meta LLaMA 模型原理进化史

一、演进时间线总览

二、四条主线：数据 · 规模 · 架构 · 开源

Meta 的进化围绕四条主线交叉推进：

1数据线：1T（1）→ 2T（2）→ 15T（3）→ 22T（4）——数据每代翻倍是能力第一引擎。

2规模线：65B（1）→ 70B（2）→ 405B（3.1）→ 400B 总/17B 激活 MoE（4）——从「做大」到「稀疏高效」。

3架构线：纯 Dense（1-3.1）→ 视觉分支（3.2）→ 原生多模态 MoE（4）——追平 2025 双潮流。

4开源线：研究许可（1）→ 商用许可（2）→ 持续放宽——许可证每代放宽、生态每代膨胀。

三、关键技术点详解

1. 数据质量优先（LLaMA 1）

• 只用高置信度语料（严格去重/过滤/质量打分），小模型打平大模型；

• 启示：参数受限时拉满数据质量是对冲——数据工程与模型工程平起平坐（llm-理论 02）。

1. 商用许可（LLaMA 2）

• 「允许商用」四个字让开源从「研究者玩具」变「企业基础设施」；

• 私有化部署、数据不出域、成本可控——企业 AI 的「安卓时刻」。

1. 数据飞轮（LLaMA 3）

• 2T→15T：缩放定律的「数据轴」实证——N 与 D 同涨能力才持续爬坡；

• 质量过滤同步升级（多语言/代码/推理配比）——不只多，还要杂而精。

1. 405B 教师蒸馏（LLaMA 3.1）

• 405B 当教师生成数据训练 8B/70B 学生——旗舰成本由家族共享；

• 定义「一旗舰 + 多蒸馏档位」产品结构（Qwen/DeepSeek 随后照做）。

1. MoE 稀疏化（LLaMA 4）

• 每 token 只激活 17B 专家（总 109B/400B）——知识上限与单次成本解耦；

• N:M 稀疏专家 + 模态门控（tGating）——不同模态路由到不同专家。

1. 原生多模态（LLaMA 4）

• 图文交错预训练（iTPT）——图片在预训练阶段与文本交织，而非后期拼视觉塔；

• 数据 22T、12 语言；多模态理解进入第一梯队。

1. 10M 上下文 + 单卡部署（LLaMA 4 Scout）

• 10M token 上下文（当时行业第一）；int4 量化后单张 H100 可跑；

• 意义：「旗舰级知识 + 消费级硬件」——大模型平民化的可量化数字。

∞

四、进化逻辑总结（学习重点）

1数据做「翻倍」：1T→2T→15T→22T——开源数据军备竞赛的领头羊。

2架构做「转向」：Dense → MoE（4）——承认「Dense 越大性价比越低」（llm-理论 04 共识）。

3能力做「下放」：教师蒸馏 + 端侧 + 单卡部署——旗舰能力全民化。

4生态做「开放」：许可证逐代放宽 → 衍生生态全球第一梯队——生态 > 单点性能。

5对比：与 DeepSeek（MLA+MoE 极致效率）、Qwen（多语言双轨）构成开源三极。

五、资料源（供深入阅读）

• Meta AI 博客：https://ai.meta.com/blog/

• LLaMA 系列技术报告：https://arxiv.org/abs/2302.13971（LLaMA 1）｜ 405B：https://arxiv.org/abs/2407.21783

• Llama 4：https://ai.meta.com/blog/llama-4-multimodal-intelligence/

• 学习路径：本开篇 → 01~03 分篇 → 对照 llm-基础理论 02/04/06

整理：2026-10-01 月绡凝 · 依据官方技术报告。