云栖重磅|从数据到智能:Data+AI驱动的云原生数据库

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。

云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
image.png
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
image.png
为满足企业用户在多云多端环境下对元数据统一管理的需求,促进数据自由流动,阿里云瑶池在会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。image.png
打通底层元数据,打造面向“Data+AI”的一站式多模数据平台由于灵活性、成本、业务连续性等综合因素,当前近80%的企业在建设数据平台时开始采用多种数据引擎、多数据实例组合的策略。随着AI兴起、非结构化数据的指数级增长,多云数据的管理难度加剧,企业也对数据的高效检索和分析提出了更高的要求,元数据管理能力成为协调跨环境、跨引擎、跨实例资源的核心要素。
为此,阿里云瑶池数据库在会上正式推出由Data+AI驱动的多模数据管理平台DMS: OneMeta+OneOps,以更好地满足大模型时代的用数需求。面向智能营销、企业级RAG智能大脑和智能搜索等应用场景,该平台可提供规模化、精细化的元数据管理服务,助力构建企业智能Data Mesh(数据网格)。
自上线以来,DMS已服务超过10万+企业客户。借助跨引擎、跨实例管理和开发以及数据智能一体化,DMS:OneMeta+OneOps将帮助企业从分散式数据治理升级至开放统一数据智能管理,实现革新性的智能Data Mesh架构,进而可降低高达90%的数据管理成本,业务决策效率提升10倍。
据介绍,DMS创新设计了统一、开放、跨云的元数据服务OneMeta及DMS+X的多模联动模式OneOps。其中,OneMeta首次打通不同数据系统,可支持全域40+种不同数据源,支持他云、自建数据源无缝对接,提供数据血缘和数据质量的一站式Data+AI数据治理。
image.png
OneOps是基于Notebook和Copilot的数据开发平台DataOps和AI数据平台MLOps,可实现DMS+X的多模联动模式,将X( X即云原生数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm等多样化的数据存储、分析、计算、AI引擎)集结到统一平台。企业用户可使用Notebook进行数据和模型开发,完成一站式数据和模型任务编排,实现数据加工、特征加工、特征提取、分析计算、模型Serving等DataOps和MLOps全链路的数据加工和计算能力。同时利用各种CPU/GPU算力,以及面向行业的算法优化,进一步完成计算和模型加速。阿里云智能集团副总裁、数据库产品事业部负责人李飞飞表示:“DMS:OneMeta+OneOps是阿里云瑶池继云原生数据库2.0以来,又一次里程碑式的改造升级。通过Data+AI的全面融合,基于统一、开放、多模的数据管理与服务,我们为企业提供全域数据资产管理能力,让业务数据“看得清、查得快、用得好”,助力企业构建智能Data Mesh,大幅提升业务决策效率。”
以某大型游戏公司为例,其游戏业务的智能推荐场景采用DMS + PolarDB & AnalyticDB的一站式DataOps+MLOps解决方案,提供基于玩家游戏行为数据的数据挖掘和精准预测。该方案支持一站式In-DB海量数据特征提取,数据库内置大模型,让AI距离数据更近,从而实现用户数据内循环不出域,整个过程更加高效、安全。此外,一站式DataOps+MLOps方案还为业务提供了模型效果实时反馈和加工的海量日志数仓存储与分析,模型算法能够自主优化迭代,成功将其游戏业务用户付费与流失预测的准确率提高30%,大幅提升了游戏推广与运营的ROI。
据介绍,在大模型领域,DMS+Lindorm的一站式多模数据解决方案支撑月之暗面构建AI智能助手Kimi,帮助Kimi准确理解用户的搜索意图、整合与概述多种信息源,实现精准和全面的信息召回,提升用户交互体验。
全面解耦、全栈池化,AlwaysOn

云原生究其本质是资源池化和资源解耦,能够充分发挥出资源池化的架构,才是真正的云原生架构。2021年起,阿里云瑶池在业界开创性地落地“三层解耦, 三层池化”(计算、存储、内存)架构,基于全栈池化技术,将云计算的弹性能力发挥到极致,助力用户业务提质增效。
据悉,利用AI与云数据库的深度结合和大模型智能调参,瑶池数据库进一步引领云原生Serverless 2.0技术升级,通过旗下核心产品(PolarDB、RDS、AnalyticDB、Lindorm)提供智能无感秒级弹性,实现“弹的更快、更稳、更广、更细”。系统会根据业务负载动态匹配,用户只需专注核心业务,按需付费:
弹的更快:亚秒级弹升,弹升速度提升5倍
弹的更稳:纵向伸缩无抖动,横向伸缩事务不中断
弹的更广:0~3000核资源范围,弹升范围提升3倍
弹的更细:三层解耦,CPU、内存、存储独立伸缩,成本降低90%

2024年6月,因云而生的云原生数据库PolarDB首次提出基于“三层解耦, 三层池化”(存储、内存、计算)、AlwaysOn架构的多主多写和秒级Serverless能力,解决了多主架构中冲突处理和数据融合、以及Serverless秒级弹性租户隔离的难题,并完成了全球首个大规模商用、基于共享存储的云原生多主数据库实践。测试数据显示,在8节点高并发场景下,PolarDB性能为业界同类数据库3倍。凭以上成果,PolarDB成功摘得了中国首个ACM SIGMOD和IEEE ICDE的工业赛道“最佳论文奖”。
image.png
目前PolarDB用户数已突破10000家,在游戏行业,PolarDB支持米哈游新游《绝区零》全球开服,见证其全球下载量突破5000万,登顶138个国家和地区下载榜首。针对《绝区零》大规模的存档数据读写场景,PolarDB通过分布式存储和多线程能力提供超大的IO读写带宽,帮助游戏玩家在高峰期流畅快速存档和回档,平滑支撑海量玩家同时在线的游戏数据处理。
云原生数据仓库AnalyticDB(以下简称ADB)兼具数据湖的扩展性和数据库的易用性,ADB支持灵活、多维度的数据分析,可为相关负载节省高达90%的总体拥有成本。通过自研在线分析MPP引擎和Native执行引擎,ADB性能可提升50%。基于实例的CPU/内存负载、查询排队、查询并发数等指标,自动进行cluster弹性伸缩,可将弹性时间降至20秒。image.png
此外,ADB还集成了离线处理Spark引擎,通过Native执行引擎+OSS数据缓存,对比开源版本,ADB性能提升7倍。同时,ADB还为用户提供抢占式资源,从而进一步降低资源使用成本。image.png
image.png
面向AI和车联网等创新应用开发场景,阿里云瑶池旗下的云原生多模数据库Lindorm内置了AI推理服务,可加载业务所需的模型处理数据,并提供统一的表视图和SQL访问接口,一体化实现数据查询、融合检索、离线分析、交互分析等功能。Lindorm还具备云原生多模一体化的数据处理能力,针对车联网超宽列时序数据优化,已助力支撑极氪汽车的全系车型智能化升级和超32万在线车辆、上万信号数据的弹性处理分析。Lindorm现已应用于国内65%的车企和50%的基模公司,驱动汽车应用持续创新。

据李飞飞介绍,近年来,阿里云瑶池紧随硬件演进步伐,在数据库系统的架构设计中,充分挖掘和施展硬件的独有优势,通过软硬结合的一体化设计,优化提升数据库系统的技术实力。image.png
会上,瑶池数据库正式发布了云原生内存数据库Tair Serverless KV服务,该服务是阿里云首个基于NVIDIA TensorRT-LLM的推理缓存加速云数据库产品。针对快速增长的大模型推理需求,Tair采用NVIDIA TensorRT-LLM一起进行了深度优化。在In-flight batching、Paged Attention等技术的基础上,结合TensorRT-LLM的Prefill/Decoding分离技术,并通过存储池化将LLM推理过程中占用大量显存资源的KVCache卸载到远端,大幅加速超长和重复上下文场景。相比开源方案,该服务通过KVCache池化,预计成本降低 20%, PD分离/调度优化吞吐预计提升 30%, 软硬协同优化 Context Cache TTFT(首 token 延时)预计降低30% *注。

阿里云智能集团数据库产品事业部NoSQL产品负责人张为表示,Tair与NVIDIA TensorRT-LLM的技术结合,标志着缓存KV技术从支撑互联网时代的访问加速服务进化到AI时代的推理在线加速服务,将为未来飞速发展的商业化AI推理需求提供规模化的支撑。
赋能核心业务与AI应用实践,让创新触手可及
最新数据显示,阿里云已连续多年位居中国数据库市场份额第一。Data+AI驱动的云原生数据库已从概念进入到加速落地阶段,服务于千行百业的核心业务及AI应用。image.png
在2024巴黎奥运会的赛事系统中,云数据库RDS凭借出色的性能表现和高可用架构,支撑了过万QPS的并发响应和超过百万条实时数据处理,平均响应时间保持在毫秒级,为全球观众提供了流畅的实时赛事观看体验。RDS通过备份恢复、实时监控、容灾切换等产品能力,保障了奥运期间RPO=0, RTO 1分钟级别的高可用在线数据库服务,稳定支持了300多个赛事项目的管理与结果发布,助力云上奥运稳定运行。

为避免各类故障及灾害对核心数据产生影响,瑶池数据库为用户提供了完备的高可用与容灾方案。应对机房级故障,阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障;如机房所在城市发生地域级故障,瑶池提供的跨地域容灾实例,可实现分钟级的RPO及RTO保障。企业可根据具体业务属性,在瑶池数据库多层级容灾架构上进行灵活选择,支撑数据业务持续在线。

随着大模型技术的迅猛发展,AI搜索类产品如SearchGPT应运而生,彻底改变了传统搜索领域的格局。从最初的关键词搜索到如今的对话式问答,搜索方式的演变意味着新的机遇与挑战。云原生多模数据库Lindorm内置的AI推理服务为SearchGPT的开发提供了一站式解决方案,并已落地包括月之暗面、MiniMax在内的多家大模型企业客户。

image.png
以月之暗面(Moonshot AI) 为例,在其AI检索应用场景下,Lindorm支持PB级别的存储与检索,满足了月之暗面全网海量数据的存储需求。
月之暗面 Kimi 搜索技术负责人Mark表示:“大模型驱动搜索技术经历深刻变革,从关键词输入转变为更自然的聊天式提问,搜索结果的消费模式也由逐个点击结果链接转变为依赖模型批量理解搜索结果并为用户进行总结,用户愿意接受约10秒的延迟,以期获得更智能的回答;这些演变给搜索技术带来了新挑战,如多来源的召回机制、多步骤的搜索流程以及多模型的融合检索。
为应对这些挑战,Kimi借助Lindorm一体化多模数据库平台秒级弹性、无缝推理及融合检索等优势,构建全新的AI搜索平台。凭借深度压缩、自适应编码、分级存储以及向量磁盘索引等技术,Lindorm助力业务整体资源成本下降超过50%,并支持标签生成、向量生成、重排等多种AI任务,大幅提升了应用开发效率,为月之暗面的业务发展注入了强劲动能。”

除了依托自身的研发力量开展前沿技术研究,阿里云瑶池数据库团队与国内产学研界的各大高校和研究机构也有着深入的学术合作。2021年,由阿里云瑶池与华东师范大学共同撰写的国内首部云原生数据库教材《云原生数据库:原理与实践》正式出版。一经问世,该书便得到了来自高校师生和领域从业者的广泛欢迎。image.png
会上,李飞飞宣布今年将再度推出国内首部云原生数据仓库教材《云原生数据仓库:原理与实践》,以及面向DBA的《云数据库运维》技术图书,旨在为云数据库相关理论与实践提供系统性的教材引导,助力推动中国云数据库领域的人才发展。
*注-数据来源:基于Qwen2 7B模型在长上下文场景构造实验环境数据测试,最终效果以实际产品和场景测试数据为准。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
1月前
|
人工智能 数据挖掘 数据库
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
本文为数据库「拥抱Data+AI」系列连载第1篇,该系列是阿里云瑶池数据库面向各行业Data+AI应用场景,基于真实客户案例&最佳实践,展示Data+AI行业解决方案的连载文章。本篇内容针对电商行业痛点,将深入探讨如何利用数据与AI技术以及数据分析方法论,为电商行业注入新的活力与效能。
拥抱Data+AI|破解电商7大挑战,DMS+AnalyticDB助力企业智能决策
|
27天前
|
存储 人工智能 关系型数据库
拥抱Data+AI|解码Data+AI助力游戏日志智能分析
「拥抱Data+AI」系列第2篇:阿里云DMS+AnalyticDB助力游戏日志数据分析与预测
拥抱Data+AI|解码Data+AI助力游戏日志智能分析
|
26天前
|
人工智能 自然语言处理 关系型数据库
从数据到智能,一站式带你了解 Data+AI 精选解决方案、特惠权益
从 Data+AI 精选解决方案、特惠权益等,一站式带你了解阿里云瑶池数据库经典的AI产品服务与实践。
|
27天前
|
存储 人工智能 关系型数据库
拥抱Data+AI|玩家去哪儿了?解码Data+AI如何助力游戏日志智能分析
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第2篇,基于真实客户案例和最佳实践,探讨如何利用阿里云Data+AI解决方案应对游戏行业挑战,通过AI为游戏行业注入新的活力。文章详细介绍了日志数据的实时接入、高效查询、开源开放及AI场景落地,展示了完整的Data+AI解决方案及其实际应用效果。
|
29天前
|
存储 人工智能 大数据
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
6天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
24天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
25天前
|
运维 Kubernetes Cloud Native
云原生技术:容器化与微服务架构的完美结合
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其灵活性和高效性成为企业的新宠。本文将深入探讨云原生的核心概念,包括容器化技术和微服务架构,以及它们如何共同推动现代应用的发展。我们将通过实际代码示例,展示如何在Kubernetes集群上部署一个简单的微服务,揭示云原生技术的强大能力和未来潜力。
|
27天前
|
消息中间件 存储 Cloud Native
云原生架构下的数据一致性挑战与应对策略####
本文探讨了在云原生环境中,面对微服务架构的广泛应用,数据一致性问题成为系统设计的核心挑战之一。通过分析云原生环境的特点,阐述了数据不一致性的常见场景及其对业务的影响,并深入讨论了解决这些问题的策略,包括采用分布式事务、事件驱动架构、补偿机制以及利用云平台提供的托管服务等。文章旨在为开发者提供一套系统性的解决方案框架,以应对在动态、分布式的云原生应用中保持数据一致性的复杂性。 ####
|
9天前
|
弹性计算 运维 Cloud Native
云原生架构的崛起与未来展望
在数字化转型的浪潮中,云原生架构凭借其高效、灵活和可扩展的特性,正逐渐成为企业IT战略的核心。本文旨在探讨云原生架构的定义、关键特性、实施优势以及面临的挑战,同时展望未来的发展趋势。通过深入分析,我们期望为读者提供一个关于云原生架构全面而深入的视角,助力企业在云计算时代做出更明智的决策。
22 3

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB