云栖重磅｜从数据到智能：Data+AI驱动的云原生数据库
在9月20日2024云栖大会上，阿里云智能集团副总裁，数据库产品事业部负责人，ACM、CCF、IEEE会士（Fellow）李飞飞发表《从数据到智能：Data+AI驱动的云原生数据库》主题演讲。他表示，数据是生成式AI的核心资产，大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合，构建一站式多模数据管理平台，以数据驱动决策与创新，为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
为满足企业用户在多云多端环境下对元数据统一管理的需求，促进数据自由流动，阿里云瑶池在会上重磅发布由Data+AI驱动的多模数据管理平台DMS：OneMeta+OneOps，通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理，可支持高达40+种数据源，实现自建、他云数据源的无缝对接，助力业务决策效率提升10倍。
打通底层元数据，打造面向“Data+AI”的一站式多模数据平台由于灵活性、成本、业务连续性等综合因素，当前近80%的企业在建设数据平台时开始采用多种数据引擎、多数据实例组合的策略。随着AI兴起、非结构化数据的指数级增长，多云数据的管理难度加剧，企业也对数据的高效检索和分析提出了更高的要求，元数据管理能力成为协调跨环境、跨引擎、跨实例资源的核心要素。
为此，阿里云瑶池数据库在会上正式推出由Data+AI驱动的多模数据管理平台DMS: OneMeta+OneOps，以更好地满足大模型时代的用数需求。面向智能营销、企业级RAG智能大脑和智能搜索等应用场景，该平台可提供规模化、精细化的元数据管理服务，助力构建企业智能Data Mesh（数据网格）。
自上线以来，DMS已服务超过10万+企业客户。借助跨引擎、跨实例管理和开发以及数据智能一体化，DMS：OneMeta+OneOps将帮助企业从分散式数据治理升级至开放统一数据智能管理，实现革新性的智能Data Mesh架构，进而可降低高达90%的数据管理成本，业务决策效率提升10倍。
据介绍，DMS创新设计了统一、开放、跨云的元数据服务OneMeta及DMS+X的多模联动模式OneOps。其中，OneMeta首次打通不同数据系统，可支持全域40+种不同数据源，支持他云、自建数据源无缝对接，提供数据血缘和数据质量的一站式Data+AI数据治理。
OneOps是基于Notebook和Copilot的数据开发平台DataOps和AI数据平台MLOps，可实现DMS+X的多模联动模式，将X（ X即云原生数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm等多样化的数据存储、分析、计算、AI引擎）集结到统一平台。企业用户可使用Notebook进行数据和模型开发，完成一站式数据和模型任务编排，实现数据加工、特征加工、特征提取、分析计算、模型Serving等DataOps和MLOps全链路的数据加工和计算能力。同时利用各种CPU/GPU算力，以及面向行业的算法优化，进一步完成计算和模型加速。阿里云智能集团副总裁、数据库产品事业部负责人李飞飞表示：“DMS：OneMeta+OneOps是阿里云瑶池继云原生数据库2.0以来，又一次里程碑式的改造升级。通过Data+AI的全面融合，基于统一、开放、多模的数据管理与服务，我们为企业提供全域数据资产管理能力，让业务数据“看得清、查得快、用得好”，助力企业构建智能Data Mesh，大幅提升业务决策效率。”
以某大型游戏公司为例，其游戏业务的智能推荐场景采用DMS + PolarDB & AnalyticDB的一站式DataOps+MLOps解决方案，提供基于玩家游戏行为数据的数据挖掘和精准预测。该方案支持一站式In-DB海量数据特征提取，数据库内置大模型，让AI距离数据更近，从而实现用户数据内循环不出域，整个过程更加高效、安全。此外，一站式DataOps+MLOps方案还为业务提供了模型效果实时反馈和加工的海量日志数仓存储与分析，模型算法能够自主优化迭代，成功将其游戏业务用户付费与流失预测的准确率提高30%，大幅提升了游戏推广与运营的ROI。
据介绍，在大模型领域，DMS+Lindorm的一站式多模数据解决方案支撑月之暗面构建AI智能助手Kimi，帮助Kimi准确理解用户的搜索意图、整合与概述多种信息源，实现精准和全面的信息召回，提升用户交互体验。
全面解耦、全栈池化，AlwaysOn
云原生究其本质是资源池化和资源解耦，能够充分发挥出资源池化的架构，才是真正的云原生架构。2021年起，阿里云瑶池在业界开创性地落地“三层解耦, 三层池化”（计算、存储、内存）架构，基于全栈池化技术，将云计算的弹性能力发挥到极致，助力用户业务提质增效。
据悉，利用AI与云数据库的深度结合和大模型智能调参，瑶池数据库进一步引领云原生Serverless 2.0技术升级，通过旗下核心产品（PolarDB、RDS、AnalyticDB、Lindorm）提供智能无感秒级弹性，实现“弹的更快、更稳、更广、更细”。系统会根据业务负载动态匹配，用户只需专注核心业务，按需付费：
弹的更快：亚秒级弹升，弹升速度提升5倍
弹的更稳：纵向伸缩无抖动，横向伸缩事务不中断
弹的更广：0~3000核资源范围，弹升范围提升3倍
弹的更细：三层解耦，CPU、内存、存储独立伸缩，成本降低90%
2024年6月，因云而生的云原生数据库PolarDB首次提出基于“三层解耦, 三层池化”（存储、内存、计算）、AlwaysOn架构的多主多写和秒级Serverless能力，解决了多主架构中冲突处理和数据融合、以及Serverless秒级弹性租户隔离的难题，并完成了全球首个大规模商用、基于共享存储的云原生多主数据库实践。测试数据显示，在8节点高并发场景下，PolarDB性能为业界同类数据库3倍。凭以上成果，PolarDB成功摘得了中国首个ACM SIGMOD和IEEE ICDE的工业赛道“最佳论文奖”。
目前PolarDB用户数已突破10000家，在游戏行业，PolarDB支持米哈游新游《绝区零》全球开服，见证其全球下载量突破5000万，登顶138个国家和地区下载榜首。针对《绝区零》大规模的存档数据读写场景，PolarDB通过分布式存储和多线程能力提供超大的IO读写带宽，帮助游戏玩家在高峰期流畅快速存档和回档，平滑支撑海量玩家同时在线的游戏数据处理。
云原生数据仓库AnalyticDB（以下简称ADB）兼具数据湖的扩展性和数据库的易用性，ADB支持灵活、多维度的数据分析，可为相关负载节省高达90%的总体拥有成本。通过自研在线分析MPP引擎和Native执行引擎，ADB性能可提升50%。基于实例的CPU/内存负载、查询排队、查询并发数等指标，自动进行cluster弹性伸缩，可将弹性时间降至20秒。
此外，ADB还集成了离线处理Spark引擎，通过Native执行引擎+OSS数据缓存，对比开源版本，ADB性能提升7倍。同时，ADB还为用户提供抢占式资源，从而进一步降低资源使用成本。
面向AI和车联网等创新应用开发场景，阿里云瑶池旗下的云原生多模数据库Lindorm内置了AI推理服务，可加载业务所需的模型处理数据，并提供统一的表视图和SQL访问接口，一体化实现数据查询、融合检索、离线分析、交互分析等功能。Lindorm还具备云原生多模一体化的数据处理能力，针对车联网超宽列时序数据优化，已助力支撑极氪汽车的全系车型智能化升级和超32万在线车辆、上万信号数据的弹性处理分析。Lindorm现已应用于国内65%的车企和50%的基模公司，驱动汽车应用持续创新。
据李飞飞介绍，近年来，阿里云瑶池紧随硬件演进步伐，在数据库系统的架构设计中，充分挖掘和施展硬件的独有优势，通过软硬结合的一体化设计，优化提升数据库系统的技术实力。
会上，瑶池数据库正式发布了云原生内存数据库Tair Serverless KV服务，该服务是阿里云首个基于NVIDIA TensorRT-LLM的推理缓存加速云数据库产品。针对快速增长的大模型推理需求，Tair采用NVIDIA TensorRT-LLM一起进行了深度优化。在In-flight batching、Paged Attention等技术的基础上，结合TensorRT-LLM的Prefill/Decoding分离技术，并通过存储池化将LLM推理过程中占用大量显存资源的KVCache卸载到远端，大幅加速超长和重复上下文场景。相比开源方案，该服务通过KVCache池化，预计成本降低 20%， PD分离/调度优化吞吐预计提升 30%， 软硬协同优化 Context Cache TTFT（首 token 延时）预计降低30% *注。
阿里云智能集团数据库产品事业部NoSQL产品负责人张为表示，Tair与NVIDIA TensorRT-LLM的技术结合，标志着缓存KV技术从支撑互联网时代的访问加速服务进化到AI时代的推理在线加速服务，将为未来飞速发展的商业化AI推理需求提供规模化的支撑。
赋能核心业务与AI应用实践，让创新触手可及
最新数据显示，阿里云已连续多年位居中国数据库市场份额第一。Data+AI驱动的云原生数据库已从概念进入到加速落地阶段，服务于千行百业的核心业务及AI应用。
在2024巴黎奥运会的赛事系统中，云数据库RDS凭借出色的性能表现和高可用架构，支撑了过万QPS的并发响应和超过百万条实时数据处理，平均响应时间保持在毫秒级，为全球观众提供了流畅的实时赛事观看体验。RDS通过备份恢复、实时监控、容灾切换等产品能力，保障了奥运期间RPO=0, RTO 1分钟级别的高可用在线数据库服务，稳定支持了300多个赛事项目的管理与结果发布，助力云上奥运稳定运行。
为避免各类故障及灾害对核心数据产生影响，瑶池数据库为用户提供了完备的高可用与容灾方案。应对机房级故障，阿里云瑶池跨多个可用区部署的实例可提供秒级RTO及RPO=0的保障；如机房所在城市发生地域级故障，瑶池提供的跨地域容灾实例，可实现分钟级的RPO及RTO保障。企业可根据具体业务属性，在瑶池数据库多层级容灾架构上进行灵活选择，支撑数据业务持续在线。
随着大模型技术的迅猛发展，AI搜索类产品如SearchGPT应运而生，彻底改变了传统搜索领域的格局。从最初的关键词搜索到如今的对话式问答，搜索方式的演变意味着新的机遇与挑战。云原生多模数据库Lindorm内置的AI推理服务为SearchGPT的开发提供了一站式解决方案，并已落地包括月之暗面、MiniMax在内的多家大模型企业客户。
以月之暗面(Moonshot AI) 为例，在其AI检索应用场景下，Lindorm支持PB级别的存储与检索，满足了月之暗面全网海量数据的存储需求。
月之暗面 Kimi 搜索技术负责人Mark表示：“大模型驱动搜索技术经历深刻变革，从关键词输入转变为更自然的聊天式提问，搜索结果的消费模式也由逐个点击结果链接转变为依赖模型批量理解搜索结果并为用户进行总结，用户愿意接受约10秒的延迟，以期获得更智能的回答；这些演变给搜索技术带来了新挑战，如多来源的召回机制、多步骤的搜索流程以及多模型的融合检索。
为应对这些挑战，Kimi借助Lindorm一体化多模数据库平台秒级弹性、无缝推理及融合检索等优势，构建全新的AI搜索平台。凭借深度压缩、自适应编码、分级存储以及向量磁盘索引等技术，Lindorm助力业务整体资源成本下降超过50%，并支持标签生成、向量生成、重排等多种AI任务，大幅提升了应用开发效率，为月之暗面的业务发展注入了强劲动能。”
除了依托自身的研发力量开展前沿技术研究，阿里云瑶池数据库团队与国内产学研界的各大高校和研究机构也有着深入的学术合作。2021年，由阿里云瑶池与华东师范大学共同撰写的国内首部云原生数据库教材《云原生数据库：原理与实践》正式出版。一经问世，该书便得到了来自高校师生和领域从业者的广泛欢迎。
会上，李飞飞宣布今年将再度推出国内首部云原生数据仓库教材《云原生数据仓库：原理与实践》，以及面向DBA的《云数据库运维》技术图书，旨在为云数据库相关理论与实践提供系统性的教材引导，助力推动中国云数据库领域的人才发展。
*注-数据来源：基于Qwen2 7B模型在长上下文场景构造实验环境数据测试，最终效果以实际产品和场景测试数据为准。
