新一代全栈自研 CPFS 正式商业化: 为下一代 AI 训练集群设计

简介: 2026年9月,阿里云发布全栈自研新一代CPFS存储,支持百TB/s吞吐、亿级IOPS及100PiB单文件系统,显著提升大模型训练效率:启动耗时降50%、算力利用率升30%、存储成本降69%,已落地小鹏汽车等企业。

2026 年 9 月,阿里云正式推出面向下一代 AI 训练集群的新一代全栈自研存储 CPFS(Cloud Parallel File Storage)。随后,CPFS 于 9 月 30 日在北京、乌兰察布、新加坡三地正式推出商业化服务。

随着大模型迈入十万亿级参数规模,预训练阶段如何持续提升模型 Checkpoint 的读写性能成为大模型训练企业的核心关切。新一代全栈自研 CPFS 提供高达百 TB/s 级吞吐和亿级 IOPS,单文件系统规模提升 5 倍至 100 PiB,可支撑大规模模型训练和多模态数据处理。在实际模型训练中,可将模型启动平均耗时降低 50%、峰值算力利用率提升 30%、AI存储成本降低 69%,业务承载能力翻倍,使 GPU 从“等待数据”转向持续高效计算。


面向百万 GPU 卡训练负载,新一代 CPFS 基于飞天盘古底座和高性能存储网络,通过从后端存储到 DPU 加速通道,再到 EFC 弹性客户端全链路自研链路,形成从客户端、协议处理到数据落盘的全链路能力。


其中在数据与元数据侧,CPFS 采用数据与原数据相分离、独立 Scale-out 的分布式架构。相较于上一代 CPFS 架构,新一代 CPFS 文件系统容量规模提升 5 倍、元数据性能提升 10 倍、文件数量规模提升 100 倍,单文件系统可扩展至百 PiB 并承载万亿级文件。


弹性客户端侧,通过软硬一体优化的全链路零拷贝与 RDMA 网络,单客户端吞吐可达 40GB/s。CPFS 的 EFC 弹性客户端提供与本地文件系统一致的时延体验,最大提供单客户端 100 万 IOPS。


在成本方面,新一代 CPFS 支持按需加载 OSS 数据(Lazyload),配合元数据自动同步与智能淘汰机制,将训练数据就绪时间从小时级缩短至分钟级,冷数据常驻低成本对象存储,降低整对文章存在错误之处体存储成本。


针对冷热数据长期并存带来的成本压力,CPFS还提供智能生命周期管理和冷热分层存储,使不同访问频率的数据自动匹配合适的存储介质,在保障训练性能的同时,整体存储成本最高降低 69%。


面向大规模 AI 训练与数据治理方面,新一代 CPFS 以统一命名空间与数据洞察两大能力承接生产负载:前者聚合分散在多套文件系统中的训练数据,简化数据管理与调度,后者覆盖热点分析、容量分析与元数据投递三维度,由此,CPFS 让存储成本治理从经验驱动转向数据驱动。企业无需为不同训练阶段反复拆分或迁移数据,即可在统一文件系统中管理训练语料、模型参数、Checkpoint 和实验结果,并随 GPU 集群同步扩展容量与吞吐。以 Qwen 大模型训练为例,采用新一代 CPFS 后,模型启动平均耗时降低 50%,峰值算力利用率提升 30%,业务承载能力翻倍。


目前,新一代 CPFS 已在小鹏汽车、黑芝麻智能、爱诗科技等客户生产环境投入使用,支撑智驾模型训练、芯片研发与大规模仿真验证、多模态模型训练等业务场景。


新架构 CPFS 的商业化,标志着阿里云 AI 智算存储底座又一次完成架构级换代。未来,阿里云存储继续为 AI 而生,延续全栈自研路线,追求性能和成本的极致突破。与 AI 共长,阿里云存储持续支撑数百万家 AI 大模型公司客户跑通从数据集处理、模型训练到推理落地的全流程,为大模型训练和 AI 应用提供高性能、可扩展且成本可持续优化的存储底座。

相关文章
|
21天前
|
存储 人工智能 缓存
降低 AI 存储成本 69% 阿里云发布新一代全栈自研高性能存储 CPFS
9月22日云栖大会,阿里云发布新一代CPFS存储:吞吐达百TB/s、IOPS过亿,单文件系统扩容至100PiB,模型启动耗时降50%,算力利用率升30%,存储成本降69%;同步推出KVCacheStore加速引擎,提升缓存命中率20%以上。
297 0
|
19天前
|
存储 人工智能 缓存
阿里云发布 Agentic Storage 全矩阵产品:面向 AI 到 Agent 负载的全栈演进
阿里云在2026云栖大会发布Agentic存储全栈产品,覆盖AI Native与Agent Native场景:CPFS支撑百万卡训练,KVCacheStore优化推理缓存,AgenticFS等实现百万级智能体安全隔离存储,OSS统一多模态数据底座,助力大模型高效训练、低延时推理与Agent规模化落地。(239字)
340 1
|
1月前
|
存储 人工智能 云栖大会
云栖大会 | 阿里云存储 3 大分论坛精彩预告:为 AI 算力提速,为 Agent 数据筑基
「阿里云存储」在云栖,我们将带来 3 场精心准备的分论坛、20+ 热门技术话题、重磅客户悉数到场,一手实战经验拆解。
305 2
|
1月前
|
人工智能 安全 算法
AI时代,终端防拍照发展到那一步了?
AI防拍照技术已突破“能否识别”阶段,主流方案准确率超99%,响应快至100毫秒,实现事中锁屏拦截。技术路线分化为纯软件、端侧硬件与光学对抗三类;水印用于溯源威慑,拦截专注实时阻断。二者协同构建防护闭环,但复杂场景适配与新设备盲区仍是挑战。
|
1月前
|
存储 对象存储 数据安全/隐私保护
RustFS 1.0.0 深度解析:GA 之后,它值得替代 MinIO 吗?
RustFS 1.0.0 于2026年9月16日正式发布。本文梳理其许可证、功能与性能,说明替代 MinIO 的兼容性和迁移限制,并介绍 1Panel、Docker 部署方式
RustFS 1.0.0 深度解析:GA 之后,它值得替代 MinIO 吗?
|
1月前
|
人工智能 数据可视化 数据挖掘
告别丑图表!2026最新数据可视化软件推荐
本文介绍2026年阿里云瓴羊Quick BI——集50+专业图表、AI智能小Q(问数/解读/报告Agent)、企业级数据溯源与MCP联动能力于一体的数据可视化平台。支持自然语言分析、一键美化、多源集成及钉钉/企微嵌入,已在能源、教育、零售等领域实现业务提效90%+。(239字)
|
1月前
|
人工智能 自然语言处理 监控
阿里云对象存储 OSS MetaQuery 实现自然语言搜图,OSS和百炼AI模型搭建视频监控系统实战
阿里云OSS联合百炼大模型,为IPC视频监控提供向量索引与内容感知一站式方案。支持自然语言搜图/视频,实现工地危情、老人/婴儿看护等多场景智能识别,秒级定位风险事件,提升安防效率与业务价值。(239字)
148 3
|
2月前
|
存储 人工智能 监控
当文件系统的用户从人变成 Agent,AgenticFS 如何重新定义存储的服务方式
AI时代正从“模型焦虑”转向“存储焦虑”:Agent爆发式增长暴露传统NAS在规模、隔离与安全上的根本缺陷。AgenticFS应运而生,首创“每Agent独享AgenticSpace”架构,实现亿级空间统一管理、毫秒级挂载、零信任临时凭证与管控面水平扩展,成为阿里云Agent全栈中不可或缺的原生存储基座。(239字)
308 0
|
1月前
|
SQL 分布式计算 对象存储
Catalog 多了无法统一管理?Gravitino 一个入口统管 OSS Tables【详解 OSS Tables 系列】
本文介绍如何通过 Apache Gravitino 统一管理多源异构元数据(如 OSS Tables、Hive、JDBC 等),解决 Catalog 多、配置重复、元数据碎片化问题。Gravitino 作为元数据联邦层,提供统一命名空间与权限治理,并支持 Spark/Flink/Trino 等引擎通过单一 REST 接口跨源查询,显著降低运维与接入成本。
225 0
|
4月前
|
存储 人工智能 前端开发
为了 Vibe Coding 地图更方便,我给 WeaveFox 造了一个轮子
开发者基于WeaveFox Vibe Coding打造合规高德地图React组件库amapcn,支持shadcn分发、NPM包及AI Skill集成,内置15+地图能力组件。同步开源并上架WeaveFox技能市场,3天快速构建全栈地图应用,免费部署上线。
512 120

热门文章

最新文章