Data+AI双轮驱动,阿里云存储服务全面升级

简介: 近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕 Storage for AI 与 AI in Storage 两大领域,提出“4 任意 + 3 智能 ”的升级方向,揭示存储基础设施与AI的双向赋能路径。阿里云存储产品将支持更多AI业务高效创新, 同时 AI 技术也将助力基础设施迭代,支持企业更好地管理数据资产。

近日,2024 云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕 Storage for AI 与 AI in Storage 两大领域,提出“ 4 任意 + 3 智能 ”的升级方向,揭示存储基础设施与AI的双向赋能路径。阿里云存储产品将支持更多AI业务高效创新, 同时 AI 技术也将助力基础设施迭代,支持企业更好地管理数据资产。
image.png

四个任意,以数据驱动AI创新
"4个任意"(Any Performance, Any Interface, Anywhere, Any Data)是阿里云在Storage for AI方面提出的一个核心概念,旨在提供一种灵活、高效、可扩展的存储解决方案,以适应AI时代对存储系统的多样化需求。

● 任意性能(Any Performance):指的是存储系统能够根据各类场景的性能需求,动态调整存储资源,提供低延迟和高吞吐量的不同性能级别。在统一的存储数据底座中,存储面临着 workload 和多样的性能需求,需要在每一类场景下都保持最优。例如在模型训练阶段,对数据集加载和checkpoint的读写都有极高的性能要求。文件存储 CPFS 可以通过数据流动实现冷热数据的分层管理,文件系统容量规格上限提升 11 倍以满足多变的需求场景 ,帮助用户大幅降低存储成本并提高训练效率。
image2.png
● 任意接口(Any Interface):意味着存储系统支持各类数据访问接口,包括文件、块、对象等,以适应不同类型的AI应用和数据处理流程。
● 任意位置(Anywhere):强调存储系统的数据可以在不同地理位置的数据中心之间灵活迁移,以满足数据本地化和灾难恢复的需求。此次阿里云介绍了文件和对象的跨地域数据流动,其引擎性能提升至 100 GB/s ,企业能够实现传输资源的弹性调度和智能化的数据生命周期管理。
● 任意数据(Any Data):表示存储系统能够处理各种类型的数据,无论是结构化数据、半结构化数据还是非结构化数据,都能得到有效的存储和管理。阿里云本次针对 AI 场景升级数据湖,通过采用对象存储服务(OSS)作为统一的数据湖底座,其资源池Qos能力在多任务访问时,不仅能够做到性能的隔离,还需要最大化发挥资源池性能,针对不同业务有灵活的策略,保障多业务共池高效运行。

Minimax作为领先的通用人工智能科技公司,其技术总监星龙在本次云栖大会上分享了以阿里云 OSS 为底座,构建AI数据湖的实践经验。不仅满足未来近 EB 级存储容量和万亿文件数量需求,简化AI系统数据流动,而且通过结合 CPFS 高性能文件系统,提供更低延迟、高吞吐的数据处理能力,满足最高 99.995% 的可用性 SLA 以及 99.9999999999%(12个9)的数据可靠性。

三个智能,赋能时代新存储
而"3个智能"是阿里云在存储服务中融入AI技术(AI in Storage),以提升存储系统的智能化水平,具体包括:

● 智能修复(AI-Healing):利用AI技术对存储系统中的潜在问题进行预测和自动修复,减少人工干预,提高系统的稳定性和可靠性。OSS 针对 “AIGC” 场景的多模态内容支持原生的内容安全和恶意文件检测,快速识别常见病毒,防止恶意文件传播和执行。
● 智能管理(AI-Management):通过AI算法优化存储资源的分配和调度,实现存储系统的自动化管理,帮助企业管理好存储性能预期、数字资产,提高存储效率和降低成本。阿里云利用了 Tablestore 表格存储的向量检索技术,推出了OSS数据索引的新功能——语义检索。这一功能不仅能够处理文档,还支持内容生成及AI助手服务,使用户能以更智能的方式管理海量数据,极大地提高了数据搜索、处理及管理的效率,尤其适用于大规模多模态数据集的管理。
image3.png

● 智能生成(AI-Generation):指的是存储系统能够利用AI技术生成智能报告和洞察,帮助用户更好地理解和优化他们的数据存储策略。阿里云企业网盘基于通义大模型构建网盘多模态 AI 能力,支持自适应数据分段聚合、融合索引以及跨模态查询等功能,轻松利用海量非结构化数据构建各类AI应用。
image4.png

阿里云智能集团弹性计算、存储产品线产品负责人 Alex Chen 在云栖大会的演讲中提到:“未来,每一家公司都将是 Data + AI 的公司。”阿里云通过这些创新概念,强化了其在AI时代存储服务的领先地位,为企业提供强大的技术支持,以应对大数据和AI应用带来的挑战,助力企业及开发者在AI时代加速业务创新与应用落地。

相关文章
|
21天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
17天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2564 22
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
15天前
|
人工智能 IDE 程序员
期盼已久!通义灵码 AI 程序员开启邀测,全流程开发仅用几分钟
在云栖大会上,阿里云云原生应用平台负责人丁宇宣布,「通义灵码」完成全面升级,并正式发布 AI 程序员。
|
13天前
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
17天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1556 16
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
19天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
829 14
|
14天前
|
人工智能 开发框架 Java
重磅发布!AI 驱动的 Java 开发框架:Spring AI Alibaba
随着生成式 AI 的快速发展,基于 AI 开发框架构建 AI 应用的诉求迅速增长,涌现出了包括 LangChain、LlamaIndex 等开发框架,但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言,并非十分友好和丝滑。因此,我们基于 Spring AI 发布并快速演进 Spring AI Alibaba,通过提供一种方便的 API 抽象,帮助 Java 开发者简化 AI 应用的开发。同时,提供了完整的开源配套,包括可观测、网关、消息队列、配置中心等。
621 7
|
8天前
|
Docker 容器
Docker操作 (五)
Docker操作 (五)
170 69
|
8天前
|
Docker 容器
Docker操作 (三)
Docker操作 (三)
167 69
|
19天前
|
人工智能 自动驾驶 机器人
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。
629 53
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界