一文总览阿里云存储产品年度升级!

简介: 阿里云在“回顾·向新:AI浪潮下的数据存储进化”活动上,总结了过去一年在AI领域的存储研究成果,提出“AI领域”与“高可用底层架构”双轨策略。会上推出的CPFS智算版,针对模型训练场景全链路性能升级,提供20TB级吞吐和3亿IOPS性能,助力大模型高效训练。同时,OSS端到端链路升级支持构建超2万数据湖,性能显著提升。此外,阿里云强化存储安全与高可用性,推出多种灾备方案,满足企业多样化需求。通过赋能月之暗面、小鹏汽车、小红书等案例,阿里云持续领跑AI时代,助力企业智能化转型。

今日,在“回顾·向新:AI浪潮下的数据存储进化”年度回顾上,阿里云总结了过去一年存储产品在AI领域的研究成果,并分享了在“AI领域”和“高可用底层架构”方面的双管齐下策略。同时,会上分享的CPFS智算版针对模型训练场景进行了全链路性能升级,提供20TB级别的吞吐和3亿IOPS最大性能,将成为AI时代大模型训练任务最具性价比的存储选择。

云存储读写性能再突破,CPFS支持更快大模型训练
在大型模型训练中,尤其是面对10万GPU的海量计算需求时,存储系统的性能和稳定性至关重要。阿里云的CPFS作为高性能文件存储解决方案,为GPU提供了20TB级别的吞吐和3亿IOPS最大性能,从而显著提升了训练效率。
此外,借助400Gb/s网卡以及RDMA通信的能力,CPFS单客户端吞吐提升至 25GB/s,支持更大及更加频繁的Checkpoint读写;提供burst I/O稳定有效吞吐/低延时,单机提供15GB/s可线性扩展的分布式读缓存能力;支持100GB/s高带宽和OSS的数据流动。CPFS对全链路进行了性能提升,为LLM训练提速。
640.jpg

OSS端到端链路升级,支持云上构建两万+数据湖
目前已有超过2万个数据湖基于OSS构建,其中大部分为AI数据湖。会上,阿里云对象存储OSS针对AI领域进行了多项能力更新。本年度,OSS推出OSS Connector for AI/ML,相比传统挂载方式,加载25.6万图片数据时性能提升14倍。
OSSFS 1.91.3版本针对推理模型文件加载优化,9.3GB大文件加载速度提升 3.6倍,10万个文件list性能提升6倍。在服务端,OSS发布资源池QoS能力,支持多个Bucket共享池化性能,并可针对单Bucket和请求者RAM账号进行QoS 设置,实现削峰填谷,提升资源利用率。同时,OSS加速器产品能力优化,起步容量降低99%,吞吐密度提升50%,最大性能提升2.5倍,达到100GBps。
640 (1).jpg

安全是存储根基,高可用再升级
在安全方面,CPFS持续增强稳定安全和数据保护能力,包括通过Cloud Backup进行备份,应对单AZ故障和数据误删、勒索病毒等事故;新增日志审计,安全访问可追溯;提供目录级配额,简化数据管理;确保安全挂载和IO鉴权,实现端到端的数据隔离;通过Access Point简化数据访问权限管理。
640 (2).jpg

此外,为了协助客户搭建和管理业务高可用架构,阿里云存储针对企业云上资源提供了一系列数据灾备方案,包括企业灾备管理服务数据灾备中心BDRC,SAAS化灾备服务云备份以及丰富的IAAS层数据灾备的能力,满足从开发者到跨国企业的多样化数据管理需求。
640 (3).jpg

助力千行百业,领跑AI时代
过去一年AI渗透进各行各业,企业为了构建高效的AI系统,采集、处理和存储了海量的多模态数据,来加速模型的训练和推理应用,这背后离不开阿里云的助力。

  • 月之暗面:在基础大模型领域,CPFS为月暗提供数Tbps级别的吞吐和毫秒级别的读写延时,满足模型checkpoint、多模态数据集和训练日志等场景下极致性能的需求,帮助月暗高效处理和分析大量请求和数据,提升模型的训练效率;
  • 小鹏汽车:在小鹏汽车智算模型训练场景,存储产品结合“扶摇”智算集群的优化,使得其自动驾驶模型训练效率提升了170倍,存储吞吐效率提升了40倍,极大地加速了技术研发进程;
  • 小红书:对于拥有3.2亿月活跃用户的小红书而言,阿里云的对象存储服务 OSS为其提供了超过20Tbps的吞吐能力,保障了海量用户生成内容的处理速度,并通过多存储类型组合方案实现了成本与性能的最佳平衡。

阿里云智能资深产品专家彭亚雄表示:2025年,阿里云依然会紧密围绕AI智算赛道,聚焦稳定、安全、性能、成本、体验等主要方向,持续产品的创新和进化。让每一家公司,都顺利的从数字化转型,过渡到智能化创新的Data+AI公司,加速业务发展和创新。

相关实践学习
利用云备份Cloud Backup实现ECS文件备份
当您已使用ECS,并在云盘中保存文件后,可能会遭遇病毒勒索,文件误删除的情况。本场景主要介绍如何使用HBR为ECS文件备份,保证数据安全并可及时恢复。
相关文章
|
存储 人工智能 大数据
Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕Storage for AI与AI in Storage两大领域,提出“4任意+3智能”的升级方向,揭示存储与AI的双向赋能路径。阿里云存储产品将支持更多AI应用高效创新,同时AI也将助力基础设施迭代,助力企业更好地管理数据资产。
|
存储 人工智能 安全
CPFS深度解析:并行文件存储加速AI创新
在生成式AI的大潮中,并行文件系统作为高性能数据底座,为AI算力提供高吞吐、低延迟的数据存储服务。在本话题中,我们将介绍阿里云并行文件存储CPFS针对AI智算场景而提供的产品能力演进与更新,深入讲解在性能、成本、稳定、安全等方面的技术创新。
1634 0
|
存储 人工智能 安全
OSS 深度解析:Data + AI 时代的对象存储
在 Data + AI 时代,随着大数据分析和 AI/ML 工作负载的进一步融合,对象存储 OSS 作为面向 AI 时代的数据基础设施,迎来了新的挑战与创新机遇。本话题我们将会介绍对象存储的能力创新,深度解读对象存储在实现稳定、安全、高性能和低成本背后的技术进展,并展望未来 AI 驱动趋势下的技术发展方向。
2160 2
|
存储 测试技术 API
百度云磁带库存储架构的设计与实践
传统介质的新气象!百度智能云基于磁带库实现冷数据存储架构。
1285 0
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
107572 105
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
1213 3
|
存储 人工智能 安全
智存跃迁,阿里云存储面向 AI 升级全栈数据存储能力
一文总览阿里云存储产品创新与进展!
1734 0