云栖重磅|从数据到智能:Data+AI驱动的云原生数据库

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据

1.jpg

在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。

2.jpg

为满足企业用户在多云多端环境下对元数据统一管理的需求,促进数据自由流动,阿里云瑶池在会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。

3.jpg

1、打通底层元数据,打造面向“Data+AI”的一站式多模数据平台

由于灵活性、成本、业务连续性等综合因素,当前近80%的企业在建设数据平台时开始采用多种数据引擎、多数据实例组合的策略。随着AI兴起、非结构化数据的指数级增长,多云数据的管理难度加剧,企业也对数据的高效检索和分析提出了更高的要求,元数据管理能力成为协调跨环境、跨引擎、跨实例资源的核心要素。

为此,阿里云瑶池数据库在会上正式推出由Data+AI驱动的多模数据管理平台DMS: OneMeta+OneOps,以更好地满足大模型时代的用数需求。面向智能营销、企业级RAG智能大脑和智能搜索等应用场景,该平台可提供规模化、精细化的元数据管理服务,助力构建企业智能Data Mesh(数据网格)。

自上线以来,DMS已服务超过10万+企业客户。借助跨引擎、跨实例管理和开发以及数据智能一体化,DMS:OneMeta+OneOps将帮助企业从分散式数据治理升级至开放统一数据智能管理,实现革新性的智能Data Mesh架构,进而可降低高达90%的数据管理成本,业务决策效率提升10倍

据介绍,DMS创新设计了统一、开放、跨云的元数据服务OneMeta及DMS+X的多模联动模式OneOps。其中,OneMeta首次打通不同数据系统,可支持全域40+种不同数据源,支持他云、自建数据源无缝对接,提供数据血缘和数据质量的一站式Data+AI数据治理。

4.jpg

OneOps是基于Notebook和Copilot的数据开发平台DataOps和AI数据平台MLOps,可实现DMS+X的多模联动模式,将X( X即云原生数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm等多样化的数据存储、分析、计算、AI引擎)集结到统一平台。企业用户可使用Notebook进行数据和模型开发,完成一站式数据和模型任务编排,实现数据加工、特征加工、特征提取、分析计算、模型Serving等DataOps和MLOps全链路的数据加工和计算能力。同时利用各种CPU/GPU算力,以及面向行业的算法优化,进一步完成计算和模型加速。

阿里云智能集团副总裁、数据库产品事业部负责人李飞飞表示:“DMS:OneMeta+OneOps是阿里云瑶池继云原生数据库2.0以来,又一次里程碑式的改造升级。通过Data+AI的全面融合,基于统一、开放、多模的数据管理与服务,我们为企业提供全域数据资产管理能力,让业务数据“看得清、查得快、用得好”,助力企业构建智能Data Mesh,大幅提升业务决策效率。”

以某大型游戏公司为例,其游戏业务的智能推荐场景采用DMS + PolarDB & AnalyticDB的一站式DataOps+MLOps解决方案,提供基于玩家游戏行为数据的数据挖掘和精准预测。该方案支持一站式In-DB海量数据特征提取,数据库内置大模型,让AI距离数据更近,从而实现用户数据内循环不出域,整个过程更加高效、安全。此外,一站式DataOps+MLOps方案还为业务提供了模型效果实时反馈和加工的海量日志数仓存储与分析,模型算法能够自主优化迭代,成功将其游戏业务用户付费与流失预测的准确率提高30%,大幅提升了游戏推广与运营的ROI。

据介绍,在大模型领域,DMS+Lindorm的一站式多模数据解决方案支撑月之暗面构建AI智能助手Kimi,帮助Kimi准确理解用户的搜索意图、整合与概述多种信息源,实现精准和全面的信息召回,提升用户交互体验。

2、全面解耦、全栈池化,AlwaysOn

云原生究其本质是资源池化和资源解耦,能够充分发挥出资源池化的架构,才是真正的云原生架构。2021年起,阿里云瑶池在业界开创性地落地“三层解耦, 三层池化”(计算、存储、内存)架构,基于全栈池化技术,将云计算的弹性能力发挥到极致,助力用户业务提质增效。据悉,利用AI与云数据库的深度结合和大模型智能调参,瑶池数据库进一步引领云原生Serverless 2.0技术升级,通过旗下核心产品(PolarDB、RDS、AnalyticDB、Lindorm)提供智能无感秒级弹性,实现“弹的更快、更稳、更广、更细”。系统会根据业务负载动态匹配,用户只需专注核心业务,按需付费:

  • 弹的更快:亚秒级弹升,弹升速度提升5倍
  • 弹的更稳:纵向伸缩无抖动,横向伸缩事务不中断
  • 弹的更广:0~3000核资源范围,弹升范围提升3倍
  • 弹的更细:三层解耦,CPU、内存、存储独立伸缩,成本降低90%

2024年6月,因云而生的云原生数据库PolarDB首次提出基于“三层解耦, 三层池化”(存储、内存、计算)、AlwaysOn架构的多主多写和秒级Serverless能力,解决了多主架构中冲突处理和数据融合、以及Serverless秒级弹性租户隔离的难题,并完成了全球首个大规模商用、基于共享存储的云原生多主数据库实践。测试数据显示,在8节点高并发场景下,PolarDB性能为业界同类数据库3倍。凭以上成果,PolarDB成功摘得了中国首个ACM SIGMODIEEE ICDE的工业赛道“最佳论文奖”

5.jpg

目前PolarDB用户数已突破10000家,在游戏行业,PolarDB支持米哈游新游《绝区零》全球开服,见证其全球下载量突破5000万,登顶138个国家和地区下载榜首。针对《绝区零》大规模的存档数据读写场景,PolarDB通过分布式存储和多线程能力提供超大的IO读写带宽,帮助游戏玩家在高峰期流畅快速存档和回档,平滑支撑海量玩家同时在线的游戏数据处理。云原生数据仓库AnalyticDB(以下简称ADB)兼具数据湖的扩展性和数据库的易用性,ADB支持灵活、多维度的数据分析,可为相关负载节省高达90%的总体拥有成本。通过自研在线分析MPP引擎和Native执行引擎,ADB性能可提升50%。基于实例的CPU/内存负载、查询排队、查询并发数等指标,自动进行cluster弹性伸缩,可将弹性时间降至20秒。

6.jpg

此外,ADB还集成了离线处理Spark引擎,通过Native执行引擎+OSS数据缓存,对比开源版本,ADB性能提升7倍。同时,ADB还为用户提供抢占式资源,从而进一步降低资源使用成本。

7.jpg

面向AI和车联网等创新应用开发场景,阿里云瑶池旗下的云原生多模数据库Lindorm内置了AI推理服务,可加载业务所需的模型处理数据,并提供统一的表视图和SQL访问接口,一体化实现数据查询、融合检索、离线分析、交互分析等功能。Lindorm还具备云原生多模一体化的数据处理能力,针对车联网超宽列时序数据优化,已助力支撑极氪汽车的全系车型智能化升级和超32万在线车辆、上万信号数据的弹性处理分析。Lindorm现已应用于国内65%的车企和50%的基模公司,驱动汽车应用持续创新。

据李飞飞介绍,近年来,阿里云瑶池紧随硬件演进步伐,在数据库系统的架构设计中,充分挖掘和施展硬件的独有优势,通过软硬结合的一体化设计,优化提升数据库系统的技术实力。

8.jpg

会上,瑶池数据库正式发布了云原生内存数据库Tair Serverless KV服务,该服务是阿里云首个基于NVIDIA TensorRT-LLM的推理缓存加速云数据库产品。针对快速增长的大模型推理需求,Tair采用NVIDIA TensorRT-LLM一起进行了深度优化。在In-flight batching、Paged Attention等技术的基础上,结合TensorRT-LLM的Prefill/Decoding分离技术,并通过存储池化将LLM推理过程中占用大量显存资源的KVCache卸载到远端,大幅加速超长和重复上下文场景。相比开源方案,该服务通过KVCache池化,预计成本降低 20%, PD分离/调度优化吞吐预计提升 30%, 软硬协同优化 Context Cache TTFT(首 token 延时)预降低30% *注

阿里云智能集团数据库产品事业部NoSQL产品负责人张为表示,Tair与NVIDIA TensorRT-LLM的技术结合,标志着缓存KV技术从支撑互联网时代的访问加速服务进化到AI时代的推理在线加速服务,将为未来飞速发展的商业化AI推理需求提供规模化的支撑。

3、赋能核心业务与AI应用实践,让创新触手可及

最新数据显示,阿里云已连续多年位居中国数据库市场份额第一。Data+AI驱动的云原生数据库已从概念进入到加速落地阶段,服务于千行百业的核心业务及AI应用。

9.jpg

2024巴黎奥运会的赛事系统中,云数据库RDS凭借出色的性能表现和高可用架构,支撑了过万QPS的并发响应和超过百万条实时数据处理,平均响应时间保持在毫秒级,为全球观众提供了流畅的实时赛事观看体验。RDS通过备份恢复、实时监控、容灾切换等产品能力,保障了奥运期间RPO=0, RTO 1分钟级别的高可用在线数据库服务,稳定支持了300多个赛事项目的管理与结果发布,助力云上奥运稳定运行。

为避免各类故障及灾害对核心数据产生影响,瑶池数据库为用户提供了完备的高可用与容灾方案。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;如机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。

随着大模型技术的迅猛发展,AI搜索类产品如SearchGPT应运而生,彻底改变了传统搜索领域的格局。从最初的关键词搜索到如今的对话式问答,搜索方式的演变意味着新的机遇与挑战。云原生多模数据库Lindorm内置的AI推理服务为SearchGPT的开发提供了一站式解决方案,并已落地包括月之暗面、MiniMax在内的多家大模型企业客户。

10.jpg

月之暗面(Moonshot AI) 为例,在其AI检索应用场景下,Lindorm支持PB级别的存储与检索,满足了月之暗面全网海量数据的存储需求。月之暗面 Kimi 搜索技术负责人曾歆勋表示:“大模型驱动搜索技术经历深刻变革,从关键词输入转变为更自然的聊天式提问,搜索结果的消费模式也由逐个点击结果链接转变为依赖模型批量理解搜索结果并为用户进行总结,用户愿意接受约10秒的延迟,以期获得更智能的回答;这些演变给搜索技术带来了新挑战,如多来源的召回机制、多步骤的搜索流程以及多模型的融合检索。

为应对这些挑战,Kimi借助Lindorm一体化多模数据库平台秒级弹性、无缝推理及融合检索等优势,构建全新的AI搜索平台。凭借深度压缩、自适应编码、分级存储以及向量磁盘索引等技术,Lindorm助力业务整体资源成本下降超过50%,并支持标签生成、向量生成、重排等多种AI任务,大幅提升了应用开发效率,为月之暗面的业务发展注入了强劲动能。”

除了依托自身的研发力量开展前沿技术研究,阿里云瑶池数据库团队与国内产学研界的各大高校和研究机构也有着深入的学术合作。2021年,由阿里云瑶池与华东师范大学共同撰写的国内首部云原生数据库教材《云原生数据库:原理与实践》正式出版。一经问世,该书便得到了来自高校师生和领域从业者的广泛欢迎。

11.jpg

会上,李飞飞宣布今年将再度推出国内首部云原生数据仓库教材《云原生数据仓库:原理与实践》,以及面向DBA的《云数据库运维》技术图书,旨在为云数据库相关理论与实践提供系统性的教材引导,助力推动中国云数据库领域的人才发展。

*注-数据来源:基于Qwen2 7B模型在长上下文场景构造实验环境数据测试,最终效果以实际产品和场景测试数据为准。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
1天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
5天前
|
存储 人工智能 数据处理
Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕 Storage for AI 与 AI in Storage 两大领域,提出“4 任意 + 3 智能 ”的升级方向,揭示存储基础设施与AI的双向赋能路径。阿里云存储产品将支持更多AI业务高效创新, 同时 AI 技术也将助力基础设施迭代,支持企业更好地管理数据资产。
|
20天前
|
消息中间件 人工智能 Cloud Native
|
5天前
|
存储 人工智能 大数据
Data+AI双轮驱动,阿里云存储服务全面升级
近日,2024云栖大会现场,阿里云宣布对其存储服务进行全面升级,围绕Storage for AI与AI in Storage两大领域,提出“4任意+3智能”的升级方向,揭示存储与AI的双向赋能路径。阿里云存储产品将支持更多AI应用高效创新,同时AI也将助力基础设施迭代,助力企业更好地管理数据资产。
|
4天前
|
Cloud Native 物联网 持续交付
云原生架构:构建现代应用的基石
随着数字化转型的深入,企业对软件开发的速度和灵活性提出了更高的要求。云原生架构作为一种新兴的技术范式,以其独特的优势,正在成为现代应用开发的主流选择。本文将探讨云原生架构的核心概念、关键技术以及实践应用,帮助读者理解如何利用云原生技术构建高效、可扩展的现代应用。
|
1天前
|
运维 Cloud Native 安全
云原生架构:企业数字化转型的新引擎##
【10月更文挑战第2天】 在当今数字化浪潮中,云原生架构以其独特的优势成为企业实现高效、灵活和创新的核心驱动力。本文深入探讨了云原生的概念、核心技术如容器化、微服务和DevOps等,并分析了这些技术如何共同作用,推动企业在云平台上实现快速迭代、弹性扩展和资源优化。同时,文章还阐述了云原生在实际应用中面临的挑战及相应的解决策略,为企业的数字化转型提供全面而深入的指导。 ##
26 17
|
2天前
|
运维 Cloud Native 云计算
云原生架构的崛起
【10月更文挑战第1天】在数字化浪潮中,企业正面临着前所未有的挑战与机遇。随着云计算技术的不断成熟,云原生架构作为一种新兴的技术范式,正逐渐改变着企业的运营模式和业务创新方式。本文将探讨云原生架构的核心理念、技术特点以及它如何推动企业在数字化转型的道路上实现更高效、更灵活的发展。通过深入分析云原生的实践案例,我们将揭示这一技术趋势背后的商业价值和管理启示。
|
2天前
|
边缘计算 Cloud Native Devops
云原生技术:构建弹性、高效的现代应用架构
在当今数字化浪潮中,企业面临着日益复杂的业务需求和瞬息万变的市场环境。传统的IT架构已难以满足这种快速变化的需求,而云原生技术以其独特的优势,正成为推动企业数字化转型的新引擎。本文将深入探讨云原生技术的核心理念、关键技术及实践应用,揭示其在构建弹性、高效现代应用架构中的重要作用。
|
3天前
|
消息中间件 负载均衡 Cloud Native
云原生之旅:从容器到微服务的架构演变
在数字化转型的风潮中,云原生技术以其灵活性、可扩展性和弹性而备受青睐。本文将通过一个虚拟的故事,讲述一个企业如何逐步拥抱云原生,实现从传统架构向容器化和微服务架构的转变,以及这一过程中遇到的挑战和解决方案。我们将以浅显易懂的方式,探讨云原生的核心概念,并通过实际代码示例,展示如何在云平台上部署和管理微服务。
|
3天前
|
运维 Kubernetes Cloud Native
云原生之旅:从容器化到微服务架构的演进之路
在数字化转型的浪潮中,云原生技术如同一股清流,为现代软件开发和运维带来革命性的变化。本文将通过深入浅出的方式,探索云原生的核心概念、关键技术以及它们如何共同塑造了今天的云基础设施和服务模式。我们将一起走进云原生的世界,了解它如何影响应用程序的设计、部署和扩展,并揭示这一趋势背后的哲学和实践。
12 1

相关产品

  • 云原生数据库 PolarDB