重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍

920日,2024云栖大会上,阿里云瑶池数据库宣布重磅升级,发布首个一站式多模数据管理平台DMSOneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户敏捷、高效地提取并分析元数据,业务决策效率可提升10倍。

 

image.jpeg

阿里云副总裁、数据库产品事业部负责人李飞飞

 

数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力,以数据驱动决策和创新,为用户提供搭积木一样易用、好用、高可用的使用体验。阿里云副总裁、数据库产品事业部负责人李飞飞表示。

 

image.png

图:阿里云推出多模数据管理平台DMSOneMeta+OneOps

 

当前,近80%的企业在建设数据平台时采用多种数据引擎、多数据实例组合的策略,AI兴起也带来了非结构化数据的指数级增长,给企业对数据的高效检索和分析管理提出了更大挑战。此次,阿里云重磅推出由“Data+AI”驱动的多模数据管理平台DMSOneMeta+OneOps,助力构建企业智能Data Mesh(数据网格),提升跨环境、跨引擎、跨实例的统一元数据管理能力。

 

DMS创新设计了统一、开放、跨云的元数据服务OneMetaDMS+X的多模联动模式OneOpsOneMeta首次打通不同数据系统,可支持全域40余种不同数据源,提供数据血缘和数据质量的一站式数据治理。

 

image.png

 

OneOps则基于数据开发平台DataOpsAI数据平台MLOps,将不同数据库引擎(关系型数据库、数据仓库、多模数据库等)集结到统一平台,让用户开箱即用,实现全链路的数据加工和计算能力。

 

自上线以来,DMS已服务超过10万企业客户。借助跨引擎、跨实例管理和开发以及数据智能一体化,DMS将帮助企业从分散式数据治理升级至开放统一数据智能管理,可降低高达90%的数据管理成本,业务决策效率提升10倍。

 

李飞飞表示:这是自云原生数据库2.0后,阿里云瑶池数据库又一次里程碑式的改造升级。DMSOneMeta+OneOps为企业提供了全域数据资产管理能力,让业务数据看得清、查得快、用得好

 

据介绍,极氪汽车采用DMS+Lindorm一站式多模数据解决方案,实现32万在线车辆上万车机信号数据的弹性处理分析,开发效能提升2倍,降低50%云资源成本。在大模型领域,此方案支撑月之暗面构建AI智能助手Kimi,帮助Kimi准确理解用户的搜索意图、整合与概述多种信息源,实现精准和全面的信息召回,提升用户交互体验。

 

image.png

 

此外,云原生数据库PolarDB今年首次提出基于三层解耦, 三层池化(存储、内存、计算)、AlwaysOn架构的多主多写和秒级Serverless能力,解决了多主架构中冲突处理和数据融合、以及Serverless秒级弹性租户隔离的难题。在高并发场景下,PolarDB性能为业界同类数据库3倍,并凭以上成果成功摘得中国首个ACM SIGMODIEEE ICDE工业赛道最佳论文奖

 

image.png

本次云栖大会,阿里云瑶池还正式发布了云原生内存数据库Tair Serverless KV服务,是阿里云首个基于NVIDIA TensorRT-LLM的推理缓存加速云数据库产品。Tair采用NVIDIA TensorRT-LLM一起进行了深度优化。相比开源方案,该服务可实现PD分离/调度优化吞吐30%的提升 ,预计成本可降低 20%*

 

*注:基于Qwen2 7B模型在长上下文场景构造实验环境数据测试,最终效果以实际产品和场景测试数据为准。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
12 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
7天前
|
存储 人工智能 BI
Paimon 1.0: Unified Lake Format for Data + AI
本文整理自阿里云智能开源湖存储负责人李劲松在Flink Forward Asia 2024上海站主论坛的演讲。Apache Paimon于今年3月成为顶级项目,计划发布1.0版本,目标是Unified Lake Format for Data + AI,解决数据处理与AI应用中的关键问题。Paimon结合Flink打造Streaming Lakehouse解决方案,已在阿里巴巴集团及多个行业中广泛应用。来自淘天、抖音和vivo的嘉宾分享了基于Paimon + Flink技术栈的数据湖实时处理与分析实践案例。内容涵盖大数据从业者面临的痛点、Paimon的发展历程及大厂的应用经验。
277 1
Paimon 1.0: Unified Lake Format for Data + AI
|
8天前
|
存储 人工智能 数据管理
|
3天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
1天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
7天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
33 4
|
8天前
|
人工智能 安全 搜索推荐
AI 驱动研发模式升级,蓝凌软件探索效率提升之道
蓝凌软件在引入通义灵码后取得了较明显的效果。目前,蓝凌软件已使用灵码的开发人员中,周活跃用户占比超过90%、根据代码库自动生成的代码占比超33%、代码智能补全占比29%,代码注释率提升了15%,有效提升了产品代码工程化的效能。
|
3月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
2月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
433 7
|
2月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
58 2