上一课把数据备好了。这一课把这些 token 真正跑起来——做一次预训练要拆成几个阶段、学习率怎么设、模型怎么切到几千张卡上、跑崩了怎么办、最后能跑出多少算力利用率。用 6 个问题把整条流程算清。内容来自我做的 35 课大模型课程的第 9 课。
- 在线阅读(免登录、手机可看):https://zhuangzhaoyeye.github.io/llm-course/
- 国内镜像:https://learn.taleverse.cn/
- 源码(MIT 许可):https://github.com/zhuangzhaoyeye/llm_course
问题 1:一次预训练能不能一口气跑完,还是必须分成几个阶段?
不能一口气跑完——因为不同训练阶段的最优设置(上下文长度、学习率、数据配比)并不相同。Llama 3 把预训练拆成三个阶段(Meta Llama Team, arXiv:2407.21783):
| 阶段 | 上下文长度 | token 预算 | 关键设置 |
|---|---|---|---|
| ① 初始预训练 | 8K | 绝大部分(15.6T 减去后面两段) | 高学习率、稳定为主 |
| ② 长上下文扩展 | 8K → 128K(6 个子阶段) | 约 800B | 逐步拉长序列,配 RoPE 频率调整 |
| ③ 退火 | 同② | 约 40M | 学习率降到 0,上采样高质量数据 |
强行合成一段会怎样:
| 若强行合并 | 会发生什么 |
|---|---|
| 一开始就用 128K 上下文 | 注意力成本按序列长度平方增长,早期算力被大量浪费 |
| 全程用同一套数据配比 | 无法在末期"精准补课",推理与代码能力上不去 |
| 末尾不做退火 | 学习率停在半空,最后一段数据的影响被稀释 |
退火"量最小、影响最大"的原因,是把占比算出来(最后一行 0.0003% 为量级示意):
| 阶段 | token 量 | 占比 | 学习率 |
|---|---|---|---|
| 初始预训练 | 约 14.8T | ≈ 94.9% | 高 |
| 长上下文扩展 | 约 800B | ≈ 5.1% | 逐步降低 |
| 退火 | 约 40M | ≈ 0.0003% | 衰减到 0 |
一句话结论:预训练不是"一条曲线跑到底",而是三个目标不同的阶段串联——末期喂什么往往比总量更重要。
问题 2:学习率该一路保持峰值不变,还是随训练进程变化?两端各会出什么问题?
必须先升后降,两端各有一道坎。Llama 3 405B 的学习率设置(arXiv:2407.21783):峰值 8×10⁻⁵,用 8,000 步线性 warmup 从 0 升到峰值,再用 cosine 在 1,200,000 步内衰减到 8×10⁻⁷。
三档模型的峰值学习率:
| 模型 | 峰值学习率 | 相对 405B |
|---|---|---|
| 8B | 3 × 10⁻⁴ | 3.75× |
| 70B | 1.5 × 10⁻⁴ | 1.875× |
| 405B | 8 × 10⁻⁵ | 1× |
模型越大、单步影响越广,峰值学习率必须更小——这是"大模型更怕训崩"的量化体现。
| 参数 | 数值 | 占总步数比例 |
|---|---|---|
| 总训练步数 | 1,200,000 | 100% |
| warmup 步数 | 8,000 | ≈ 0.67% |
| 峰值学习率 | 8 × 10⁻⁵ | — |
| 最终学习率 | 8 × 10⁻⁷ | 峰值的 1% |
两端各出什么问题:训练初期参数是随机初始化的,梯度方向噪声极大,一步到位用峰值学习率会把参数推入「logits 饱和、范数爆掉」的区域,最初几百步就 NaN 或发散(Goyal et al., arXiv:1706.02677 的 warmup 正是为此提出);训练末期已接近最优解,学习率还很大时,损失会在最优解附近来回震荡、收敛不到底。
一句话结论:学习率曲线是"先探索、后收敛"的量化表达——warmup 用不到 1% 的步数换不崩,cosine 把学习率压到峰值 1% 换收敛,而峰值随模型变大而减小。
问题 3:模型装不进一张卡,该怎么切分到几千张卡上?
先算显存账,就知道"切分"是装下的最低要求,不是"想跑快点"。
405B 模型的训练状态(fp16/BF16 权重 + 梯度 + Adam 优化器状态,还没算激活值):
| 项目 | 每参数字节 | 405B 总计 |
|---|---|---|
| 权重 | 2 | 810 GB |
| 梯度 | 2 | 810 GB |
| Adam 优化器状态(fp32 主权重 + 一阶 + 二阶矩) | 12 | 4,860 GB |
| 合计 | 16 | ≈ 6,480 GB(6.48 TB) |
一张 80GB 的 H100:仅装训练状态就需要 6,480 ÷ 80 = ≥ 81 张;加上激活与缓冲(经验再留 50% 余量)约 122 张起。
四种并行各切什么:
| 策略 | 切什么 | 解决什么 | 代价 |
|---|---|---|---|
| DP 数据并行 | 数据 | 提高吞吐 | 每卡都要存完整模型状态 |
| TP 张量并行 | 矩阵乘 | 单层显存与算力分摊 | 通信量最大 |
| PP 流水线并行 | 网络层 | 按层分摊模型 | 有空泡,需微批填充 |
| CP 上下文并行 | 序列 | 支撑超长上下文 | attention 通信增加 |
实践是组合使用:MLPerf / NVIDIA NeMo 的 405B 参考配置标注为 TP=8、PP=9、CP=2、DP=4,总卡数等于各维度之积 8×9×2×4 = 576。但 NVIDIA 另一份文档把同一组并行度记作 512 张(https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html),与连乘结果对不上——这是官方文档之间自身不一致,引用时两处数字与来源都要写明,不替它选定一个。
一句话结论:并行不是"为了快",而是"为了装得下";选哪种并行的核心判据是通信开销——通信量最大的 TP 放机内高速互联,通信量小的 DP 放跨机器。
问题 4:为什么要用低精度训练?梯度裁剪又在防什么?
两个问题要一起解决:低精度省算力,但低精度下梯度更容易溢出,所以必须配梯度裁剪兜底。
先看格式差别(为什么选 BF16 而不是 FP16):
| 格式 | 指数位 | 尾数位 | 能表示的最大值 | 是否需要 loss scaling |
|---|---|---|---|---|
| FP16 | 5 | 10 | 约 6.5 × 10⁴ | 需要(容易溢出) |
| BF16 | 8 | 7 | 约 3.4 × 10³⁸ | 不需要(指数范围与 fp32 一致) |
| FP32 | 8 | 23 | 约 3.4 × 10³⁸ | 不需要 |
BF16 用"牺牲尾数精度"换"保留 fp32 的动态范围"——大模型训练最怕溢出而不是精度不够,所以 BF16 成默认。
一个反直觉但重要的点:混合精度省的是算力不是显存:
| 方案 | 权重 | 梯度 | 优化器状态 | 合计(字节/参数) |
|---|---|---|---|---|
| 全程 fp32(Adam) | 4 | 4 | 8 | 16 |
| BF16 混合精度 | 2 | 2 | 12 | 16 |
权重与梯度各减半(省 4 字节),但要多存一份 fp32 主权重(加 4 字节),正好抵消,合计仍是 16 字节/参数。真正省显存的是 ZeRO。省算力则很可观:H100 上 FP32 CUDA Core 峰值 67 TFLOPS、BF16 张量核 dense 989 TFLOPS,跨口径差约 15 倍(NVIDIA H100 官方规格)。
梯度裁剪(Pascanu et al., arXiv:1211.5063)给单步更新设上界:
| 情形 | 梯度范数 | 若裁剪到阈值 1.0 | 后果 |
|---|---|---|---|
| 正常批次 | 0.3(示意) | 不触发 | 正常更新 |
| 异常批次 | 50(示意) | 缩到 1.0 | 避免一步走出有效区域 |
一句话结论:BF16 换更快的矩阵乘(不是更小显存),梯度裁剪给单步更新设上界——两者合起来,才让"几千张卡连续跑几个月"成为可能。
问题 5:训练到一半 loss 突然飙升,该怎么处理?
即便精度与裁剪都做对,训练仍可能突然崩一下。Loss spike 是常态而非异常:PaLM 540B 全程遇到约 20 次尖峰,且已启用梯度裁剪(Chowdhery et al., arXiv:2204.02311)。处理办法是「回滚 + 跳过」,不是改超参:
| 项目 | 数值 |
|---|---|
| 尖峰次数 | 约 20 次(540B 训练全程) |
| 回滚步数 | 约 100 步(从尖峰前最近检查点重启) |
| 跳过批次 | 约 200~500 批 |
为什么回滚比重训划算:
| 方案 | 相对成本 |
|---|---|
| 从头重训 | 1×(完整预训练成本) |
| 回滚 100 步 + 跳过 500 批 | 约 0.008%(100 ÷ 1,200,000) |
| 不回滚、继续训 | 0,但参数可能已进坏区域 |
怎么判断该回滚还是继续:
| 现象 | 动作 |
|---|---|
| 飙升后几步内自行回落 | 不必回滚,继续观察 |
| 飙升后持续在高位不降 | 回滚检查点 + 跳过该数据段 |
| 同一数据段反复引发尖峰 | 回滚并永久剔除该数据 |
一句话结论:工程关键不是"如何避免尖峰",而是"多快发现、多近回滚"——回滚 100 步只花 0.008% 的成本,这直接决定检查点策略。
问题 6:几千张卡跑几个月,实际用上了多少算力?
"跑了多少天"不能反映效率,需要归一化指标 MFU(模型算力利用率)= 实际模型 FLOPs/s ÷ 硬件理论峰值 FLOPs/s,由 PaLM 论文引入(Chowdhery et al., arXiv:2204.02311)。
| 模型 | 报告的 MFU | 硬件与口径 |
|---|---|---|
| PaLM 540B | 46.2% | 6,144 TPU v4 |
| Llama 3 405B | 约 38%~43% | H100,BF16 口径 |
口径要点:分母必须写清是哪种精度、是否含稀疏加速——否则同一张卡算出的 MFU 能差 2 倍以上。反推一下:按 BF16 dense 峰值 989 TFLOPS 算,40% MFU ≈ 每卡 396 TFLOP/s。
剩下的算力去哪了:
| 损耗项 | 大致影响 | 能否消除 |
|---|---|---|
| 通信等待 | 主要损耗 | 部分(重叠通信与计算) |
| 流水线空泡 | 随 PP 级数增大 | 部分(增加微批) |
| 重算(gradient checkpointing) | 多算约 30% 前向 | 不计入 MFU 分子,但耗时增加 |
| 故障回滚 | 少量 | 不可完全消除 |
注意最后一行与问题 5 的联系:每次回滚都要重算一段,直接拉低整体效率——"稳定性"也能换算成"算力成本"。
一句话结论:MFU 是归一化读尺——同一笔预算,MFU 差 10 个百分点就是十天级别的差距,"能不能把 MFU 做上去"才是工程能力的直接体现。
小结
| 问题 | 结论 | 一个数字 |
|---|---|---|
| 分几个阶段 | 三阶段串联,末期喂什么比总量重要 | 退火仅约 40M token |
| 学习率怎么设 | 先升后降,先探索后收敛 | 峰值 8e-5,衰减到 1% |
| 怎么切分 | 为装得下而切,按通信开销选策略 | 405B 训练状态 6.48 TB |
| 低精度 + 裁剪 | BF16 省算力不省显存,裁剪设更新上界 | 16 字节/参数 |
| loss 飙升 | 回滚 100 步 + 跳过 200~500 批 | 成本约 0.008% |
| 用了多少算力 | MFU 归一化读尺 | PaLM 46.2% / Llama 3 约 38%~43% |
参考与说明
- Llama 3 三阶段与学习率:Meta Llama Team, arXiv:2407.21783
- 多维并行:Megatron-LM, Shoeybi et al., arXiv:1909.08053;GPipe, Huang et al., arXiv:1811.06965
- 混合精度训练:Micikevicius et al., arXiv:1710.03740
- 梯度裁剪:Pascanu et al., arXiv:1211.5063
- Warmup:Goyal et al., arXiv:1706.02677
- Loss spike 与 MFU:Chowdhery et al., PaLM, arXiv:2204.02311
- NVIDIA H100 规格与 405B 配置:https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html
- 文中算术均已用代码独立复算:
405e9×16 ≈ 6.48 TB、6480÷80 = 81、8e-7÷8e-5 = 1%、8000÷1.2e6 ≈ 0.67%、100÷1.2e6 ≈ 0.008%、8×9×2×4 = 576、989×0.4 ≈ 396。标注「示意/估算」的数字(梯度范数 0.3/50、退火占比 0.0003%)为量级示意。 - 一处来源冲突需注明:405B 总卡数,并行度之积为 576,NVIDIA 某文档记 512,两处均列出、不替它选定。
- 说明:这套课程由 AI 在我设计的规则下生成,再经过脚本检查和独立审查;审查发现过不少问题,已写在仓库 README 里。发现错误欢迎提 Issue,写清位置,我逐条核实。
继续学
完整课程 35 课,这一篇是第 9 课。下一篇进入 SFT 微调:预训练出的模型只会"接话",怎么用指令把它调成"会听话"的助手。
- 课程:https://zhuangzhaoyeye.github.io/llm-course/
- 国内镜像:https://learn.taleverse.cn/
- 源码:https://github.com/zhuangzhaoyeye/llm_course ,觉得有帮助欢迎点个 Star