近日,2024 云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕 Storage for AI 与 AI in Storage 两大领域,提出“ 4 Any + 3 AI ”的升级方向,揭示存储基础设施与AI的双向赋能路径。阿里云存储产品将支持更多AI业务高效创新, 同时 AI 技术也将助力基础设施迭代,支持企业更好地管理数据资产。
1. 四个任意,以数据驱动AI创新
"4个任意"(Any Performance, Any Interface, Anywhere, Any Data)是阿里云在Storage for AI方面提出的一个核心概念,旨在提供一种灵活、高效、可扩展的存储解决方案,以适应AI时代对存储系统的多样化需求。
● 任意性能(Any Performance):指的是存储系统能够根据各类场景的性能需求,动态调整存储资源,提供低延迟和高吞吐量的不同性能级别。在统一的存储数据底座中,存储面临着 workload 和多样的性能需求,需要在每一类场景下都保持最优。例如在模型训练阶段,对数据集加载和checkpoint的读写都有极高的性能要求。文件存储 CPFS 可以通过数据流动实现冷热数据的分层管理,文件系统容量规格上限提升 11 倍以满足多变的需求场景 ,帮助用户大幅降低存储成本并提高训练效率。
● 任意接口(Any Interface):意味着存储系统支持各类数据访问接口,包括文件、块、对象等,以适应不同类型的AI应用和数据处理流程。
● 任意位置(Anywhere):强调存储系统的数据可以在不同地理位置的数据中心之间灵活迁移,以满足数据本地化和灾难恢复的需求。此次阿里云介绍了文件和对象的跨地域数据流动,其引擎性能提升至 100 GB/s ,企业能够实现传输资源的弹性调度和智能化的数据生命周期管理。
● 任意数据(Any Data):表示存储系统能够处理各种类型的数据,无论是结构化数据、半结构化数据还是非结构化数据,都能得到有效的存储和管理。阿里云本次针对 AI 场景升级数据湖,通过采用对象存储服务(OSS)作为统一的数据湖底座,其资源池Qos能力在多任务访问时,不仅能够做到性能的隔离,还需要最大化发挥资源池性能,针对不同业务有灵活的策略,保障多业务共池高效运行。
Minimax作为领先的通用人工智能科技公司,其技术总监星龙在本次云栖大会上分享了以阿里云 OSS 为底座,构建AI数据湖的实践经验。不仅满足未来近 EB 级存储容量和万亿文件数量需求,简化AI系统数据流动,而且通过结合 CPFS 高性能文件系统,提供更低延迟、高吞吐的数据处理能力,满足最高 99.995% 的可用性 SLA 以及 99.9999999999%(12个9)的数据可靠性。
2. 三个智能,赋能时代新存储
而"3个智能"是阿里云在存储服务中融入AI技术(AI in Storage),以提升存储系统的智能化水平,具体包括:
● 智能修复(AI-Healing):利用AI技术对存储系统中的潜在问题进行预测和自动修复,减少人工干预,提高系统的稳定性和可靠性。OSS 针对 “AIGC” 场景的多模态内容支持原生的内容安全和恶意文件检测,快速识别常见病毒,防止恶意文件传播和执行。
● 智能管理(AI-Management):通过AI算法优化存储资源的分配和调度,实现存储系统的自动化管理,帮助企业管理好存储性能预期、数字资产,提高存储效率和降低成本。阿里云利用了 Tablestore 表格存储的向量检索技术,推出了OSS数据索引的新功能——语义检索。这一功能不仅能够处理文档,还支持内容生成及AI助手服务,使用户能以更智能的方式管理海量数据,极大地提高了数据搜索、处理及管理的效率,尤其适用于大规模多模态数据集的管理。
● 智能生成(AI-Generation):指的是存储系统能够利用AI技术生成智能报告和洞察,帮助用户更好地理解和优化他们的数据存储策略。阿里云企业网盘基于通义大模型构建网盘多模态 AI 能力,支持自适应数据分段聚合、融合索引以及跨模态查询等功能,轻松利用海量非结构化数据构建各类AI应用。
阿里云智能集团弹性计算、存储产品线产品负责人 Alex Chen 在云栖大会的演讲中提到:“未来,每一家公司都将是 Data + AI 的公司。”阿里云通过这些创新概念,强化了其在AI时代存储服务的领先地位,为企业提供强大的技术支持,以应对大数据和AI应用带来的挑战,助力企业及开发者在AI时代加速业务创新与应用落地。