【阅读原文】戳:Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕Storage for AI与AI in Storage两大领域,提出“4任意+3智能”的升级方向,揭示存储与AI的双向赋能路径。阿里云存储产品将支持更多AI应用高效创新,同时AI也将助力基础设施迭代,助力企业更好地管理数据资产。
四个任意,以数据驱动AI创新
"4个任意"(Any Performance,Any Interface, Anywhere,Any Data)是阿里云在Storage for AI方面提出的一个核心概念,旨在提供一种灵活、高效、可扩展的存储解决方案,以适应AI时代对存储系统的多样化需求。
任意性能(Any Performance):指的是存储系统能够根据各类场景的性能需求,动态调整存储资源,提供从低延迟到高吞吐量的不同性能级别。在统一的存储数据底座中,存储面临着workload和多样的性能需求,需要在每一类场景下都保持最优。例如在模型训练阶段,对文件传输的容量和效率有更高性能要求。文件存储CPFS数据流动通过冷热数据分离进行生命周期管理,文件系统容量规格提升11倍以满足多变的需求场景 ,帮助用户大幅降低存储成本并提高训练效率。
任意接口(Any Interface):意味着存储系统支持各类数据访问接口,包括文件、块、对象等,以适应不同类型的AI应用和数据处理流程。
任意位置(Any where):强调存储系统的数据可以在不同地理位置的数据中心之间灵活迁移,以满足数据本地化和灾难恢复的需求。此次阿里云介绍了文件和对象的跨地域数据流动,其引擎性能提升至100 GB/s ,企业能够实现传输资源的弹性调度和智能化的数据生命周期管理。
任意数据(Any Data):表示存储系统能够处理各种类型的数据,无论是结构化数据、半结构化数据还是非结构化数据,都能得到有效的存储和管理。阿里云本次针对AI场景升级数据湖,通过采用对象存储服务(OSS)作为统一的数据湖底座,其资源池Qos能力在多任务访问时,不仅能够做到性能的隔离,还需要最大化发挥资源池性能,针对不同业务有灵活的策略,保障多业务共池高效运行。
Minimax作为领先的通用人工智能科技公司,其技术总监星龙在本次云栖大会上分享了以阿里云OSS为底座,构建AI数据湖的实践经验。不仅满足未来近EB 级存储容量和万亿文件数量需求,简化AI系统数据流动,而且通过结合CPFS高性能文件系统,提供更低延迟、高吞吐的数据处理能力,满足最高99.995% 的可用性SLA以及99.9999999999%(12个9)的数据可靠性。
三个智能,赋能时代新存储
而"3个智能"是阿里云在存储服务中融入AI技术(AI in Storage),以提升存储系统的智能化水平,具体包括:
智能修复(AI-Healing):利用AI技术对存储系统中的潜在问题进行预测和自动修复,减少人工干预,提高系统的稳定性和可靠性。OSS针对 “AIGC” 场景的多模态内容支持原生的内容安全和恶意文件检测,快速识别常见病毒,防止恶意文件传播和执行。
智能管理(AI-Management):通过AI算法优化存储资源的分配和调度,实现存储系统的自动化管理,帮助企业管理好存储性能预期、数字资产,提高存储效率和降低成本。阿里云利用了Tablestore表格存储的向量检索技术,推出了OSS数据索引的新功能——语义检索。这一功能不仅能够处理文档,还支持内容生成及AI助手服务,使用户能以更智能的方式管理海量数据,极大地提高了数据搜索、处理及管理的效率,尤其适用于大规模多模态数据集的管理。
智能生成(AI-Generation):指的是存储系统能够利用AI技术生成智能报告和洞察,帮助用户更好地理解和优化他们的数据存储策略。阿里云企业网盘基于通义大模型构建网盘多模态AI能力,支持自适应数据分段聚合、融合索引以及跨模态查询等功能,轻松利用海量非结构化数据构建各类AI应用。
阿里云智能集团弹性计算、存储产品线产品负责人Alex Chen在云栖大会的演讲中提到:“未来,每一家公司都将是Data+AI的公司。”阿里云通过这些创新概念,强化了其在AI时代存储服务的领先地位,为企业提供强大的技术支持,以应对大数据和AI应用带来的挑战,助力企业及开发者在AI时代加速业务创新与应用落地。
我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。
获取关于我们的更多信息~