预训练全流程:几千张卡跑几个月,一个大模型是怎么训出来的?

简介: 本课详解大模型预训练工程实践:拆解6大核心问题——阶段划分、学习率调度、千卡并行策略、低精度训练与梯度裁剪、loss突崩应对、真实算力利用率(MFU)。源自35讲《大模型系统课程》第9课,含Llama 3等一线实证与可复现计算。在线免费阅读→ https://zhuangzhaoyeye.github.io/llm-course/ (238字)

上一课把数据备好了。这一课把这些 token 真正跑起来——做一次预训练要拆成几个阶段、学习率怎么设、模型怎么切到几千张卡上、跑崩了怎么办、最后能跑出多少算力利用率。用 6 个问题把整条流程算清。内容来自我做的 35 课大模型课程的第 9 课。

问题 1:一次预训练能不能一口气跑完,还是必须分成几个阶段?

不能一口气跑完——因为不同训练阶段的最优设置(上下文长度、学习率、数据配比)并不相同。Llama 3 把预训练拆成三个阶段(Meta Llama Team, arXiv:2407.21783):

阶段 上下文长度 token 预算 关键设置
① 初始预训练 8K 绝大部分(15.6T 减去后面两段) 高学习率、稳定为主
② 长上下文扩展 8K → 128K(6 个子阶段) 约 800B 逐步拉长序列,配 RoPE 频率调整
③ 退火 同② 约 40M 学习率降到 0,上采样高质量数据

强行合成一段会怎样:

若强行合并 会发生什么
一开始就用 128K 上下文 注意力成本按序列长度平方增长,早期算力被大量浪费
全程用同一套数据配比 无法在末期"精准补课",推理与代码能力上不去
末尾不做退火 学习率停在半空,最后一段数据的影响被稀释

退火"量最小、影响最大"的原因,是把占比算出来(最后一行 0.0003% 为量级示意):

阶段 token 量 占比 学习率
初始预训练 约 14.8T ≈ 94.9% 高
长上下文扩展 约 800B ≈ 5.1% 逐步降低
退火 约 40M ≈ 0.0003% 衰减到 0

一句话结论:预训练不是"一条曲线跑到底",而是三个目标不同的阶段串联——末期喂什么往往比总量更重要。

问题 2:学习率该一路保持峰值不变,还是随训练进程变化?两端各会出什么问题?

必须先升后降,两端各有一道坎。Llama 3 405B 的学习率设置(arXiv:2407.21783):峰值 8×10⁻⁵,用 8,000 步线性 warmup 从 0 升到峰值,再用 cosine 在 1,200,000 步内衰减到 8×10⁻⁷。

三档模型的峰值学习率:

模型 峰值学习率 相对 405B
8B 3 × 10⁻⁴ 3.75×
70B 1.5 × 10⁻⁴ 1.875×
405B 8 × 10⁻⁵ 1×

模型越大、单步影响越广,峰值学习率必须更小——这是"大模型更怕训崩"的量化体现。

参数 数值 占总步数比例
总训练步数 1,200,000 100%
warmup 步数 8,000 ≈ 0.67%
峰值学习率 8 × 10⁻⁵ —
最终学习率 8 × 10⁻⁷ 峰值的 1%

两端各出什么问题:训练初期参数是随机初始化的,梯度方向噪声极大,一步到位用峰值学习率会把参数推入「logits 饱和、范数爆掉」的区域,最初几百步就 NaN 或发散(Goyal et al., arXiv:1706.02677 的 warmup 正是为此提出);训练末期已接近最优解,学习率还很大时,损失会在最优解附近来回震荡、收敛不到底。

一句话结论:学习率曲线是"先探索、后收敛"的量化表达——warmup 用不到 1% 的步数换不崩,cosine 把学习率压到峰值 1% 换收敛,而峰值随模型变大而减小。

问题 3:模型装不进一张卡,该怎么切分到几千张卡上?

先算显存账,就知道"切分"是装下的最低要求,不是"想跑快点"。

405B 模型的训练状态(fp16/BF16 权重 + 梯度 + Adam 优化器状态,还没算激活值):

项目 每参数字节 405B 总计
权重 2 810 GB
梯度 2 810 GB
Adam 优化器状态(fp32 主权重 + 一阶 + 二阶矩) 12 4,860 GB
合计 16 ≈ 6,480 GB(6.48 TB)

一张 80GB 的 H100:仅装训练状态就需要 6,480 ÷ 80 = ≥ 81 张;加上激活与缓冲(经验再留 50% 余量)约 122 张起。

四种并行各切什么:

策略 切什么 解决什么 代价
DP 数据并行 数据 提高吞吐 每卡都要存完整模型状态
TP 张量并行 矩阵乘 单层显存与算力分摊 通信量最大
PP 流水线并行 网络层 按层分摊模型 有空泡,需微批填充
CP 上下文并行 序列 支撑超长上下文 attention 通信增加

实践是组合使用:MLPerf / NVIDIA NeMo 的 405B 参考配置标注为 TP=8、PP=9、CP=2、DP=4,总卡数等于各维度之积 8×9×2×4 = 576。但 NVIDIA 另一份文档把同一组并行度记作 512 张(https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html),与连乘结果对不上——这是官方文档之间自身不一致,引用时两处数字与来源都要写明,不替它选定一个。

一句话结论:并行不是"为了快",而是"为了装得下";选哪种并行的核心判据是通信开销——通信量最大的 TP 放机内高速互联,通信量小的 DP 放跨机器。

问题 4:为什么要用低精度训练?梯度裁剪又在防什么?

两个问题要一起解决:低精度省算力,但低精度下梯度更容易溢出,所以必须配梯度裁剪兜底。

先看格式差别(为什么选 BF16 而不是 FP16):

格式 指数位 尾数位 能表示的最大值 是否需要 loss scaling
FP16 5 10 约 6.5 × 10⁴ 需要(容易溢出)
BF16 8 7 约 3.4 × 10³⁸ 不需要(指数范围与 fp32 一致)
FP32 8 23 约 3.4 × 10³⁸ 不需要

BF16 用"牺牲尾数精度"换"保留 fp32 的动态范围"——大模型训练最怕溢出而不是精度不够,所以 BF16 成默认。

一个反直觉但重要的点:混合精度省的是算力不是显存:

方案 权重 梯度 优化器状态 合计(字节/参数)
全程 fp32(Adam) 4 4 8 16
BF16 混合精度 2 2 12 16

权重与梯度各减半(省 4 字节),但要多存一份 fp32 主权重(加 4 字节),正好抵消,合计仍是 16 字节/参数。真正省显存的是 ZeRO。省算力则很可观:H100 上 FP32 CUDA Core 峰值 67 TFLOPS、BF16 张量核 dense 989 TFLOPS,跨口径差约 15 倍(NVIDIA H100 官方规格)。

梯度裁剪(Pascanu et al., arXiv:1211.5063)给单步更新设上界:

情形 梯度范数 若裁剪到阈值 1.0 后果
正常批次 0.3(示意) 不触发 正常更新
异常批次 50(示意) 缩到 1.0 避免一步走出有效区域

一句话结论:BF16 换更快的矩阵乘(不是更小显存),梯度裁剪给单步更新设上界——两者合起来,才让"几千张卡连续跑几个月"成为可能。

问题 5:训练到一半 loss 突然飙升,该怎么处理?

即便精度与裁剪都做对,训练仍可能突然崩一下。Loss spike 是常态而非异常:PaLM 540B 全程遇到约 20 次尖峰,且已启用梯度裁剪(Chowdhery et al., arXiv:2204.02311)。处理办法是「回滚 + 跳过」,不是改超参:

项目 数值
尖峰次数 约 20 次(540B 训练全程)
回滚步数 约 100 步(从尖峰前最近检查点重启)
跳过批次 约 200~500 批

为什么回滚比重训划算:

方案 相对成本
从头重训 1×(完整预训练成本)
回滚 100 步 + 跳过 500 批 约 0.008%(100 ÷ 1,200,000)
不回滚、继续训 0,但参数可能已进坏区域

怎么判断该回滚还是继续:

现象 动作
飙升后几步内自行回落 不必回滚,继续观察
飙升后持续在高位不降 回滚检查点 + 跳过该数据段
同一数据段反复引发尖峰 回滚并永久剔除该数据

一句话结论:工程关键不是"如何避免尖峰",而是"多快发现、多近回滚"——回滚 100 步只花 0.008% 的成本,这直接决定检查点策略。

问题 6:几千张卡跑几个月,实际用上了多少算力?

"跑了多少天"不能反映效率,需要归一化指标 MFU(模型算力利用率)= 实际模型 FLOPs/s ÷ 硬件理论峰值 FLOPs/s,由 PaLM 论文引入(Chowdhery et al., arXiv:2204.02311)。

模型 报告的 MFU 硬件与口径
PaLM 540B 46.2% 6,144 TPU v4
Llama 3 405B 约 38%~43% H100,BF16 口径

口径要点:分母必须写清是哪种精度、是否含稀疏加速——否则同一张卡算出的 MFU 能差 2 倍以上。反推一下:按 BF16 dense 峰值 989 TFLOPS 算,40% MFU ≈ 每卡 396 TFLOP/s。

剩下的算力去哪了:

损耗项 大致影响 能否消除
通信等待 主要损耗 部分(重叠通信与计算)
流水线空泡 随 PP 级数增大 部分(增加微批)
重算(gradient checkpointing) 多算约 30% 前向 不计入 MFU 分子,但耗时增加
故障回滚 少量 不可完全消除

注意最后一行与问题 5 的联系:每次回滚都要重算一段,直接拉低整体效率——"稳定性"也能换算成"算力成本"。

一句话结论:MFU 是归一化读尺——同一笔预算,MFU 差 10 个百分点就是十天级别的差距,"能不能把 MFU 做上去"才是工程能力的直接体现。

小结

问题 结论 一个数字
分几个阶段 三阶段串联,末期喂什么比总量重要 退火仅约 40M token
学习率怎么设 先升后降,先探索后收敛 峰值 8e-5,衰减到 1%
怎么切分 为装得下而切,按通信开销选策略 405B 训练状态 6.48 TB
低精度 + 裁剪 BF16 省算力不省显存,裁剪设更新上界 16 字节/参数
loss 飙升 回滚 100 步 + 跳过 200~500 批 成本约 0.008%
用了多少算力 MFU 归一化读尺 PaLM 46.2% / Llama 3 约 38%~43%

参考与说明

  • Llama 3 三阶段与学习率:Meta Llama Team, arXiv:2407.21783
  • 多维并行:Megatron-LM, Shoeybi et al., arXiv:1909.08053;GPipe, Huang et al., arXiv:1811.06965
  • 混合精度训练:Micikevicius et al., arXiv:1710.03740
  • 梯度裁剪:Pascanu et al., arXiv:1211.5063
  • Warmup:Goyal et al., arXiv:1706.02677
  • Loss spike 与 MFU:Chowdhery et al., PaLM, arXiv:2204.02311
  • NVIDIA H100 规格与 405B 配置:https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html
  • 文中算术均已用代码独立复算:405e9×16 ≈ 6.48 TB、6480÷80 = 81、8e-7÷8e-5 = 1%、8000÷1.2e6 ≈ 0.67%、100÷1.2e6 ≈ 0.008%、8×9×2×4 = 576、989×0.4 ≈ 396。标注「示意/估算」的数字(梯度范数 0.3/50、退火占比 0.0003%)为量级示意。
  • 一处来源冲突需注明:405B 总卡数,并行度之积为 576,NVIDIA 某文档记 512,两处均列出、不替它选定。
  • 说明:这套课程由 AI 在我设计的规则下生成,再经过脚本检查和独立审查;审查发现过不少问题,已写在仓库 README 里。发现错误欢迎提 Issue,写清位置,我逐条核实。

继续学

完整课程 35 课,这一篇是第 9 课。下一篇进入 SFT 微调:预训练出的模型只会"接话",怎么用指令把它调成"会听话"的助手。

相关文章
|
4月前
|
存储 人工智能 搜索推荐
模型没有“记忆力”?一文读懂Agent记忆模块的四大类型与主流框架
本文详解AI智能体“记忆模块”:破解LLM“金鱼脑”困境,系统梳理工作、语义、情境、程序性四大记忆类型,解析检索-注入-执行-写入闭环,并对比Mem0、Letta、Zep、LangMem四大主流框架,助你构建真正懂用户、记得住、可进化的AI助手。
611 1
模型没有“记忆力”?一文读懂Agent记忆模块的四大类型与主流框架
|
20天前
|
人工智能 JSON 编解码
Wan2.2+ComfyUI 本地制作外星人趣味感人短片全流程实战:分镜、角色一致性、批量渲染与后期自动化脚本
本项目为AI短片《星星花》全流程技术指南:基于ComfyUI,使用Wan2.2 T2V/I2V模型,RTX4090显卡实测优化;含8镜分镜表、IP-Adapter角色一致性方案、Python批量渲染+FFmpeg自动合成脚本,附真实踩坑清单与夸克资源包。
211 1
|
3月前
|
人工智能 API 开发工具
阿里云百炼Token Plan全功能详解:订阅规则、支持模型与API实操教程
在大模型应用快速普及的当下,开发者与企业团队经常会遇到一个现实难题:项目会同时用到文本推理、视觉理解、图片生成、AI视频生成等多种能力,不同模型分属不同服务,需要分别开通权限、管理多套密钥、分别结算账单,不仅管理成本高,预算也很难提前把控。很多开发人员一边使用代码智能体工具做程序开发,一边调用图像视频模型做素材生成,来回切换多个平台,账号、密钥、账单分散,一旦业务量上涨,实际开销很容易超出预期。阿里云百炼推出的Token Plan,就是面向这类场景打造的一站式大模型订阅服务,通过统一Credits额度,实现多款主流大模型共享一套订阅权益,降低多模型场景下的管理复杂度,适配个人开发者、独立工作室
446 2
|
10月前
|
SQL 安全 数据库
GoWind Admin|风行 — 开箱即用的企业级全栈中后台框架:数据权限体系设计与实现
GoWind Admin(风行)是开箱即用的企业级全栈中后台框架,内置五层数据权限体系:租户隔离、业务单元、行级、列级、操作/状态级,支持多租户、ABAC动态策略与非侵入式DataScope引擎,实现安全合规、灵活可扩展的权限管理。(239字)
1642 2
|
5月前
|
运维 Serverless API
DeepSeek-R1阿里云上部署解析:API、Serverless、容器、GPU四种部署方案实操对比及避坑指南
DeepSeek-R1是当下综合表现极为突出的大语言模型,在复杂数学推理、工程代码编写、长文本逻辑梳理、多轮专业对话等场景中能力出众,被大量开发者、技术团队以及企业所使用。但该模型庞大的参数量,给普通用户带来了极高的本地部署门槛,其满血版参数规模达到671B,完整运行至少需要8卡A100级别高性能GPU,个人电脑、常规工作站完全无法承载,这也是多数使用者面临的首要难题。
785 0
|
5月前
|
人工智能 自然语言处理 定位技术
Coze 3.0来了!别再自己复制、粘贴搬上下文了!
Coze 3.0聚焦真实协同痛点,首创「项目级A2A协作」:支持多人+多Agent灵活组队、跨端(网页/桌面/手机)无缝衔接、本地与云端Agent统一调度,并内置行业模板与专业技能。告别复制粘贴、上下文断层与工具割裂,让资料、对话、决策、产出在同一个项目中自然流转——AI真正在帮你扛事,而非添乱。(239字)
|
7月前
|
存储 搜索推荐 PyTorch
为什么使用 TorchRec 训练和推理更快
本文结合TorchEasyRec实践,从四大维度解析推荐系统加速:1)KeyedJaggedTensor统一变长特征,实现Embedding批量融合查找;2)自动分布式分片突破单卡显存瓶颈;3)TrainPipelineSparseDist流水线并行,重叠通信与计算;4)fbgemm-gpu融合优化器,减少显存访问。端到端提升训练效率与扩展性。
658 9
|
7月前
|
自然语言处理 前端开发 API
如何在Trae中接入阿里百炼Qwen3.6-Plus大模型,让编程体验更畅快?
Trae排队太慢?阿里云百炼Qwen3.6-Plus模型助你告别等待!响应秒级,支持Agentic/Vibe编程、原生多模态与100万上下文。API调用低至2元/百万输入Tokens,新用户赠百万Tokens,三步即可接入,编程体验丝滑升级!
|
8月前
|
数据采集 运维 算法
广告投放被竞品刷量?从数据异常到IP集群识别的完整排查指南
本文探讨了程序化广告投放中刷量攻击的技术解决方案。通过量化检测规则(点击率突变、转化率背离、IP集中度)自动触发预警,集成IP查询接口获取风险评分和标签,运用IP段聚合算法识别攻击集群,并构建自动化处置流程。实验显示,该方法可将无效预算消耗从40%降至8%,有效拦截数据中心IP、代理IP等高风险流量,快速恢复广告投放效果。
|
机器学习/深度学习 人工智能 芯片
一文详解多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限,华为如何力挽狂澜?
近年来,全球范围内的芯片禁令不断升级,给许多企业和科研机构带来了很大的困扰,需要在技术层面进行创新和突破。一方面,可以探索使用国产芯片和其他不受限制的芯片来替代被禁用的芯片;另一方面,可以通过优化算法和架构等方法来降低对特定芯片的依赖程度。
2024 0