降低 AI 存储成本 69% 阿里云发布新一代全栈自研高性能存储 CPFS

简介: 9月22日云栖大会,阿里云发布新一代CPFS存储:吞吐达百TB/s、IOPS过亿,单文件系统扩容至100PiB,模型启动耗时降50%,算力利用率升30%,存储成本降69%;同步推出KVCacheStore加速引擎,提升缓存命中率20%以上。

9月22日,2026云栖大会上,阿里云正式推出面向下一代AI训练集群的新一代高性能存储CPFS(Cloud Parallel File Storage),提供高达百TB/s级吞吐和亿级IOPS,单文件系统规模提升5倍至100PiB,可支撑大规模模型训练和多模态数据处理。在实际模型训练中,可将模型启动平均耗时降低50%、峰值算力利用率提升30%、AI存储成本降低69%,业务承载能力翻倍,使GPU从“等待数据”转向持续高效计算。


随着大模型训练进入规模化阶段,数据集由文本扩展至图片、视频和语音,规模可增长50倍甚至百倍;模型参数规模增长约10倍,Checkpoint保存也更加频繁。海量小文件并发读取和 Checkpoint 突发写入由此成为新瓶颈,存储如果无法跟上,昂贵的GPU集群就会因数据供给不足而空转。


针对这一问题,新一代CPFS采用数据服务与元数据服务分离架构,实现容量和性能的水平扩展。GPU、CPU节点通过EFC弹性客户端和虚拟存储通道,接入分布式元数据和数据服务;结合飞天盘古的分布式持久化存储底座和高性能存储网络,形成从客户端、协议处理到数据落盘的全链路自研链路。


据介绍,新一代CPFS文件系统容量规模提升5倍、元数据性能提升10倍、文件数量规模提升100倍,单文件系统可扩展至百PiB并承载万亿级文件。企业无需为不同训练阶段反复拆分或迁移数据,即可在统一文件系统中管理训练语料、模型参数、Checkpoint和实验结果,并随GPU集群同步扩展容量与吞吐。


针对冷热数据长期并存带来的成本压力,CPFS还提供智能生命周期管理和冷热分层存储,使不同访问频率的数据自动匹配合适的存储介质,在保障训练性能的同时,整体存储成本最高降低69%。以Qwen大模型训练为例,采用新一代CPFS后,模型启动平均耗时降低50%,峰值算力利用率提升30%,业务承载能力翻倍。


面向大模型推理,阿里云同时推出KVCache加速引擎——KVCacheStore。它位于GPU显存、主机内存与远端共享存储之间,是基于近计算部署、高性能网络和弹性共享存储构建的新型G3.5存储层,以“存储换计算”承接长上下文、多轮对话和复杂Agent任务产生的大量缓存。KVCacheStore支持与算力亲和部署,单计算节点吞吐达到40GB/s,通过Batch接口实现百万QPS,单实例可满足千亿级KV存储规模,实测缓存命中率提升20%以上。


“每一次模型的跃迁,都是云存储自我革新的最佳契机。”阿里云存储产品负责人蒋江伟表示,阿里云将持续推进算、网、存协同创新,让数据更快进入计算、GPU得到更充分利用,为大模型训练和AI应用提供高性能、可扩展且成本可持续优化的存储底座。

相关文章
|
2月前
|
存储 人工智能 自然语言处理
新一代全栈自研 CPFS 正式商业化: 为下一代 AI 训练集群设计
2026年9月,阿里云发布全栈自研新一代CPFS存储,支持百TB/s吞吐、亿级IOPS及100PiB单文件系统,显著提升大模型训练效率:启动耗时降50%、算力利用率升30%、存储成本降69%,已落地小鹏汽车等企业。
505 118
|
3月前
|
存储 人工智能 弹性计算
AgenticFS 重磅发布:专为 AI Agent 打造的全新文件存储
阿里云发布AgenticFS——全球首款Agent Native文件存储,专为AI Agent场景设计。单系统支持百万级AgenticSpace,提供目录级权限隔离、独立配额与性能QoS,峰值挂卸载达10万QPS,兼顾安全、弹性与超大规模扩展能力。(239字)
649 118
|
2月前
|
存储 人工智能 缓存
阿里云发布 Agentic Storage 全矩阵产品:面向 AI 到 Agent 负载的全栈演进
阿里云在2026云栖大会发布Agentic存储全栈产品,覆盖AI Native与Agent Native场景:CPFS支撑百万卡训练,KVCacheStore优化推理缓存,AgenticFS等实现百万级智能体安全隔离存储,OSS统一多模态数据底座,助力大模型高效训练、低延时推理与Agent规模化落地。(239字)
560 1
|
4月前
|
人工智能
Qwen3.8抢先体验!正式版即将发布并开源!
千问Qwen3.8即将开源,参数达2.4T,进化速度以“天”计,实力媲美Fable 5。预览版Qwen3.8-Max已上线阿里Token Plan等平台,限时优惠:日间Credits低至1折,夜间更优,个人/团队版月付仅35元起!
6434 223
|
JSON 自然语言处理 搜索推荐
银行卡归属地及开户行查询API查询实战指南
银行卡归属地及开户行查询API,通过卡号快速识别发卡行、开户地及卡种信息,支持全国1500+银行,数据实时更新。提供结构化数据返回,广泛应用于支付、风控、用户画像等场景,助力金融系统高效、安全运行。
4551 126
|
消息中间件 域名解析 弹性计算
IDC通过IPsec VPN访问内网MQ
本文为您介绍IDC如何通过IPsec VPN访问云上VPC内网MQ云服务网段,实现IDC内网访问MQ队列消息。
1107 119
|
Devops 云栖大会 Docker
【云栖大会】Docker与阿里云达成战略合作 为企业级客户提供容器服务
在2016杭州·云栖大会上,全球知名的容器技术公司Docker与阿里云宣布达成战略合作,双方将在容器服务领域进行紧密合作,阿里云将为客户提供更加先进的云上应用管理服务。
10220 119
|
存储 索引 Java
List类初识
    先看java Api的中文文档: 有序的 collection(也称为序列)。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。
1161 119
|
固态存储 SDN
1028 List Sorting (25)
#include #include #include #include #include using namespace std; int c; struct node{ string id, name;...
1127 118
|
应用服务中间件 索引 开发框架

热门文章

最新文章