PB 级数据搬运，才是大模型训练的隐形起跑线 —— 聊聊 AI 数据采集网络
系列一 · 数据采集篇 ｜阿里云 AI 网络白皮书解读
从多源到 GPU 集群，数据是怎么"跑"进训练场的？
一个被严重低估的问题
跟做大模型的团队聊，你会发现一个反常识的现象：很多训练任务真正的瓶颈，不在 GPU，也不在算法，而在"数据还没到位"。
一个典型的千亿参数训练任务，需要吃进几十 TB 到几百 PB 的原始语料。这些数据可能散落在：
- 公司自建 IDC 的 HDFS 里
- 三方数据公司的对象存储桶里
- 全球十几个 Region 的业务日志里
- 公网上待爬取的开源数据集里
而 GPU 集群等着开工，每小时的算力成本以万计。只要数据没到位一小时，就是几十万的钱在等。
于是问题就变成了：怎么把 PB 级数据，快速、稳定、私密地喂到训练集群门口？
这就是"AI 数据采集网络"要解决的事。它不是 AI 网络最耀眼的那一层，但它是整个链路的起跑线——起跑没抢好，后面 HPN、eRDMA 再强也没用。
AI 数据采集网络长什么样
先看一张全景图，感受一下数据从多源到 GPU 集群的完整路径：
从左到右，四层结构清晰：
- 数据源层：线下 IDC、多云、公网、跨地域业务，是异构的
- 高速接入层：把不同来源的数据"翻译"成阿里云私网可达
- 存储与数据湖层：OSS/CPFS/NAS 三种介质分别承担冷热数据
- GPU 训练集群：灵骏智算，通过高吞吐通道从存储层拉数据
下面挨个拆一下每一层的关键设计。
第一层：数据从哪里来？先解决"接得进来"
不同来源的数据，对应不同的入云通道。用错了通道，成本可能差 10 倍，稳定性可能差一个数量级。
场景 A：线下 IDC → 阿里云（PB 级、周期性、企业内部）
✅ 推荐：高速通道 Express Connect + ECR（Express Connect Router）
- 单端口 400 Gbps 物理专线，多个专线可组池
- 端到端时延 < 5ms，比公网稳定 100 倍
- 与 CEN 结合可打通全球 Region
- 适合日常大数据搬运、Checkpoint 回传、跨地域灾备
避坑：如果只是偶尔搬一次数据（比如项目启动初期一次性把 100TB 灌进 OSS），不要急着开专线，先用 闪电立方（离线迁移）或 OSSUtil 并行上传，成本更低。
场景 B：多云 → 阿里云（AWS/GCP 数据回流）
✅ 推荐：VPN 网关（增强型） 或 多云互联
- IPsec VPN 增强型单隧道 1 Gbps，可绑 TR 做多隧道叠加
- 若数据量巨大（> 100TB/月），直接用高速通道对接对端云的 Direct Connect
- 若是"实时同步"型（如日志），用 PrivateLink 反向暴露 API 服务
场景 C：公网数据（爬虫、开源数据集）
✅ 推荐：NAT 网关 + 弹性公网 IP + 共享带宽包
- NAT 网关支持 SNAT 出向，避免为每台爬虫机分配独立 EIP
- 共享带宽包按 95 计费，爬虫场景成本降 60%+
- 抓完的数据直接写 OSS，走 VPC 内网 0 流量费
场景 D：跨 Region 业务数据回流
✅ 推荐：CEN 云企业网 + TR 转发路由器
- 跨 Region 带宽 Tbps 级，全球 30+ Region 一张网
- 支持按需购买跨域带宽包，弹性伸缩
- 与 CDT（云数据传输）配合，跨域内网流量结算清晰
一个关键决策：训练集群该放在数据侧，还是数据该往训练集群走？ 答案取决于数据规模：
| 数据量 | 建议 |
|---|---|
| < 10 TB | 一次性搬到 GPU 集群所在 Region |
| 10 TB - 1 PB | CEN 打通，按需拉取 |
| > 1 PB | 训练集群靠近数据源部署，减少搬运 |
第二层：数据落到哪里？存储介质分层是关键
数据入云之后，不是所有数据都要"上热盘"。合理分层，成本可以差 5-10 倍。
OSS 对象存储 —— 温冷数据的默认位：所有原始语料、去重后的 Corpus、多轮清洗的中间产物，先无脑丢 OSS 标准存储。冷了自动下沉到低频/归档层。训练时通过 VPC 私网直通读，不走公网、不产生跨域流量费。
CPFS 并行文件存储 —— 训练时的"高速热盘"：真正投喂给 GPU 的数据集，训练开始前用 OSS-CPFS 数据加载器批量预热到 CPFS。智算版单客户端 25 GB/s、系统级 2 TB/s 吞吐，走 eRDMA 直通 GPU。这是 GPU 不空转的关键。
NAS 极速版 —— 元数据密集型场景：需要频繁 ls、stat 小文件的场景（比如图像数据集有几千万张小图），NAS 极速版比 CPFS 更合适。
踩坑提示：CPFS 智算版只能被 PAI-Lingjun 和 ACS 挂载，普通 ECS 挂不上。如果你的架构是"自建 K8s + 灵骏节点"，需要走 PAI-DLC 或用 CPFS 通用版。
第三层：如何避免"数据慢过 GPU"？
有了数据、有了存储，最后一公里是把数据从存储层高吞吐地送进 GPU。
关键设计一：ENI 高带宽
灵骏节点默认配备 ecs.gn9gc（Blackwell）或 ebmgn8v（H800），单机 200 Gbps VPC ENI + 360 Gbps eRDMA ENI。数据加载时用 VPC ENI 拉 CPFS，训练时用 eRDMA ENI 做参数同步，互不干扰。
关键设计二：多流并发
单个连接吃不满 200 Gbps。用 多进程 DataLoader + 多 TCP 流并发，或者直接用 CPFS 的 POSIX 客户端（内部走多 QP 并发），实测可以把 200 Gbps 打满 92%+。
关键设计三：Prefetch 流水线
CPU 预取 + GPU 计算流水化。当前 batch 还在算，下一 batch 已经在网络上飞过来了。这是掩盖数据延迟的经典手段，配合 CPFS 的 25 GB/s 单客户端吞吐，可以把 GPU 数据饥饿率压到 3% 以下。
一个真实场景：某大模型公司 300B 训练数据 pipeline
- 数据源：自建 IDC 有 800 TB 中文语料，AWS S3 有 200 TB 英文数据
- 入云方式：IDC 用两条 400G 高速通道池化，AWS 用高速通道对 Direct Connect
- 落地存储：先入 OSS 标准存储，去重清洗后 1 PB → 训练前一次性预热到 CPFS 智算版
- 训练时读取：4096 张 H800，每卡从 CPFS 直读，聚合吞吐 1.6 TB/s，GPU 利用率 93%
- 总耗时：数据搬运 6 天，训练 21 天，总周期节省 40%+
核心 takeaway：数据采集网络不是单点技术，而是一个从源头到 GPU 门口的系统工程。规划时优先想清楚这三件事：
- 数据规模决定入云通道（专线 / VPN / NAT / CEN）
- 数据生命周期决定存储介质（OSS 冷 / CPFS 热 / NAS 元数据）
- 加载模式决定网络设计（多流 / 多 ENI / Prefetch）
下一篇预告
数据到位了，训练要开跑。8 张卡里 GPU 怎么通信？4096 张卡怎么保持 96% 线性加速？跨地域怎么协同？
下一篇《训练网络篇》，我们聊 Scale-Up、Scale-Out、Scale-Across 三层是如何配合的，以及 HPN 7.0 + eRDMA 到底解决了哪些经典难题。
📖 延伸阅读
原文白皮书：《阿里云 AI 网络白皮书》 — 完整技术架构与选型参考
相关产品：
💬 你在 AI 数据 pipeline 里踩过哪些网络坑？评论区聊聊，下一篇我们从"训练集群内部"接着讲。
