数据之势丨云原生数据库,走向Serverless与AI驱动的一站式数据平台

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 在大模型席卷之下,历史的齿轮仍在转动,很多人开始思考,大模型能为数据库带来哪些改变。阿里云数据库产品事业部负责人李飞飞表示,数据库和智能化的结合是未来非常重要的发展方向,数据库的使用门槛将大幅降低。

官网banner.png
《云栖战略参考》由阿里云与钛媒体联合策划,呈现云计算与人工智能领域的最新技术战略观点与业务实践探索,希望这些内容能让您有所启发。

2005年,商业数据库时代启幕,至2009年起开源数据库潮流涌动,阿里巴巴率先提出“去IOE”,用分布式架构替代传统商业数据库。2017年,阿里云自研了第一款云原生数据库PolarDB。从AliSQL到RDS,再到自研PolarDB,阿里云瑶池数据库的演进历程犹如一面镜子,折射出了国产数据库的创新与发展。

当下,AI驱动下的数据平台,正在向一站式、智能化的方向演进。作为AIGC应用的基础设施,以PolarDB、AnalyticDB、Lindorm、RDS为核心的阿里云瑶池数据库现已全面拥抱向量检索能力,并与通义千问等大模型深度集成,为用户提供智能化的一站式数据管理平台,加速业务数智创新。

随着云原生+Serverless的不断深入,一站式数据平台将让数据管理开发像“搭积木”一样简单实用,以性价比更高、体验更优的云数据库服务,助推用户业务提效增速。

云原生+Serverless,让数据平台像搭积木一样简单好用

在信息管理模型(DIKW)中,人类的认知分为四个层次:数据、信息、知识和智慧,而数据平台所承载的就是其中最核心的部分——数据,并内置算力与模型。如今,数据平台已成为AI时代的基础底座,它能够理解数据内容、理清用户意图、整合数据资源、保护数据安全和隐私,同时在加速迈向“云原生化、平台化、一体化和智能化”(简称“四化”),让算力服务触手可及。

通过“云原生+Serverless”应用,阿里云瑶池数据库不断深化,正推动数据平台像“搭积木”一样便捷轻巧,提供秒级弹性、开箱即用免运维等服务。用户可以更专注于核心业务,只需按效果和价值付费。如拼乐高一样,根据工作负载调用不同数据库引擎,甚至在一个数据库引擎内调用不同计算能力,实现对当前工作负载Dynamic Workload最佳匹配的平台能力。以数据库为例,云原生数据库1.0时代,呈现阶梯式的匹配曲线;当进入了真正的云原生数据库时代,数据库则可以完美匹配业务负载波峰波谷的变化。

目前,阿里云瑶池旗下的核心产品均已陆续推出Serverless形态,包括云原生数据库PolarDB、云原生数据仓库AnalyticDB、云原生多模数据库Lindorm、云数据库RDS等,并完成了全面升级:弹得更快,实现秒级探测、秒级切换;弹得更稳,实现全场景覆盖,智能无感秒级弹性;弹得更广,实现秒级弹升0~3000核;弹得更细,实现三层解耦独立弹升。对比传统架构,Serverless形态可降低60%成本。

此外,通过计算资源的一体化调度与管理、混部资源利用率提升、异构架构一体化适配(X86和ARM)、安全容器增强等技术创新,瑶池数据库竞争力全面升级,实现更高程度的性价比优势。其中,核心产品(PolarDB、AnalyticDB、RDS)发布基于倚天ARM的经济版,诠释极致性价比。对比开源自建数据库,经济版价格比自建低30%,同时性能比自建高10%。

以PolarDB为核心,一体化加速云上数智创新

当前的时代,就像一百多年前尼古拉·特斯拉刚刚发明了交流电一样,不仅需要研究发电机和电动机,更需要研究电本身、电的变压原理、电的传输......而数据库是对数据的赋能,研究数据、让算力技术大众化、普世化则是实现数据赋能的途径。

过去一年多,阿里云在“一体化”、“一站式”的推动上,不遗余力。数据库历经了50多年的发展,诞生了不同的子方向,例如联机在线交易OLTP、联机在线分析OLAP、非关系型数据库NoSQL等。阿里云的“一站式”就是在这些边界点上进行突破,瑶池数据库提供了全面的HTAP能力。

轻量级HTAP,基于自研IMCI技术,云原生数据库PolarDB100%兼容MySQL语法,可支持大数据量、毫秒级延迟的数据分析需求。对比传统MySQL行存,性能提升了100倍以上。

云原生一体化HTAP,采用Zero-ETL技术,“PolarDB+AnalyticDB”、“RDS+ClickHouse”之间可实现亚秒级数据同步,提供统一入口的一站式HTAP体验,为用户节省10倍链路同步成本,建仓速度提升高达7倍。

以“PolarDB MySQL版+AnalyticDB for MySQL版”为例,针对多源汇聚分析场景,云原生一体化HTAP提供PolarDB←→AnalyticDB的内置数据同步链路,数据可以实现无缝流转,客户也无需维护额外数据管道,可降低90%的数据链路成本并减少运维负担。通过高速并行通道,可加速数据初始化性能,大幅降低建仓所需时间,真正实现复杂交易和复杂分析的一体化,目前该能力已在多家互联网行业客户中落地。

在交易的核心场景如电商、SaaS应用等,用户一般情况下不会直连数据库,在交易数据库前面会存在缓存,如Redis等架构。如何保证缓存数据和后台数据的一致性,成为了企业的关键挑战。大多数情况下,开发者需要编写大量业务代码和业务架构来保证缓存与数据库的一致性。

瑶池数据库推出了“DB+Cache”一体化能力,实现“PolarDB+Tair”、“RDS+Redis”之间的数据自动同步与融合,在解决缓存数据一致性难题的同时,也实现了内存资源统一调度与管理,帮助用户降本增效(最高节省30%成本)、提升体验。

此外,瑶池数据库与存储也实现了“DB+存储”一体化,基于数据库缓存池拓展(Buffer Pool Extension)、Auto PL、冷热分离等技术,将冷热温业务数据分层存储,提升性能,可降低高达90%存储成本。

阿里云瑶池正在持续推动以PolarDB为代表的云数据库向云原生纵深发展。在2023年云栖大会期间,阿里云发布了PolarDB Always On系列3大技术升级:

一是Multi-Master三层解耦架构,结合RDMA/CXL支持的三层解耦技术,内存池化,提升CPU内存使用率,内存使用率提升50%。

二是Multi-Master轮动升级,集群轮动升级,升级集群不停机,进一步提升SLA,不可用时间减少50%。

三是高压缩比数据存储,采用in-Memory行级压缩、Smart SSD 2.0硬件压缩等为代表的软硬件一体化压缩技术,最高可节省80%存储成本。

基于这样的技术前提,阿里云在2024年1月的PolarDB开发者大会上发布了PolarDB“三层分离”的新版本,基于智能决策实现查询性能10倍提升,节省50%成本。

在产品设计上,PolarDB融入了对用户需求的深度理解和对开发流程的简化重构。对于PolarDB团队而言,在面对复杂的数据库配置与优化时,第一反应是为用户提供能直观理解、快速上手并灵活定制的工具,而不是一堆难以驾驭的技术堆砌。因此,PolarDB借鉴“乐高积木”的理念,将数据库的不同功能模块化,让开发者可以依据自身项目特点和业务需求,自由选择和组合这些模块。通过Zero-ETL等技术手段,PolarDB可以与AnalyticDB等其他云数据库产品无缝连接,形成一体化的数据处理解决方案,这个过程就类似于“搭积木”。

“传统数据库会像马车一样被淘汰”,这句预言随着云原生与分布式技术的普及应用而逐渐得到印证。如今,数据库的门槛已经被一再降低,阿里云也在致力于推动云数据库向更高层次演进,从“手动挡”进化到由AI驱动的“自动驾驶”状态。

数据库要怎么学会自动驾驶?和汽车的自动驾驶一样,本质上都是在实时调参。自动驾驶调整方向盘、刹车和油门等参数来应对复杂路况,而采用了“三层分离”架构的PolarDB云数据库中,内存、存储以及计算资源池也能够借助AI的力量进行动态适配,根据业务负载变化做出最优资源配置。

由此可见,数据库正在迎来一场新的技术革命,数据库和智能化的结合,是未来非常重要的发展方向,用户使用数据库的门槛也将大幅降低。

在PolarDB开发者大会现场,一位11岁的小学生被邀到台上操作PolarDB的NL2BI解决方案。他用大白话敲了几行字,NL2BI平台就在系统实时返回了专业的SQL语言,还输出了可视化的数据分析结果。数据库领域的增删改查从此变成了GPT式的自然语言交互窗口。

AI驱动,数据平台走向一站式智能化

作为AIGC应用的基础设施,阿里云瑶池数据库在AI领域也在不断进行技术布局与应用探索。通过扩展面向Al的数据管理与服务能力,打造智能化的一站式数据管理平台,让云原生数据库更易用,助力用户抢占商业先机。

瑶池数据库推出的数据智能助手DMSDataCopilot,结合了DMS智能数据管理、数据使用能力,让SQL开发、使用和管理更加规范和高效,是用户“看数、管数、用数”不可或缺的智能管家。DMSDataCopilot支持30+种数据库类型,可提供NL2SQL(降低SQL编写门槛、提升开发效率)、SQL注释生成、SQL纠错、SQL优化等功能。在耶鲁大学推出的Spider数据集评测中,DMSCopilot的成功率和准确率达到99.5%和78%,比开源模型的正确率高出4%。

AIGC和LLM大模型浪潮的崛起,进一步推动了业务和应用对向量数据库的需求。瑶池数据库现已全面拥抱向量检索能力,在PolarDB、RDS、AnalyticDB、Lindorm、Tair等产品中集成向量功能,实现结构化数据、半结构化数据、多模数据、向量数据的一体化处理。

其中,企业级智能数据仓库AnalyticDB与通义大模型家族深度集成,推出一站式全托管大模型解决方案。通义行业大模型和阿里云百炼大模型服务平台采用AnalyticDB作为内置向量检索引擎,为政务、医药、电力、制造、汽车、金融等千行百业提供专属行业解决方案,性能较开源增强了2~5倍,加速AIGC应用落地。

云原生多模数据库Lindorm具备多模数据处理能力,是集在线服务、离线分析、向量、Al分析能力于一身的一站式AI数据平台。数据不出库,即可轻松存储和分析海量的半结构化和非结构化数据。

数据库的生态共赢,服务了千行百业的创新

云数据库生态的蓬勃发展,依托于合作伙伴的技术协同,构建了多元开放的生态体系。作为国内首个MongoDB云服务商战略合作伙伴和唯一可提供最新版本MongoDB服务的中国云厂商,阿里云的云数据库MongoDB版3年营收实现8倍增长。未来,MongoDB与阿里云的战略合作也将持续深入,帮助更多企业实现数据创新和业务增长,携手开启创新下一站。阿里云已与开源分析型数据库ClickHouse达成国内独家战略合作。作为ClickHouse在中国独家的云服务提供商,阿里云拥有世界上最大的ClickHouse商用集群之一,可提供具备独有企业能力的云原生ClickHouse企业版。企业版为存算分离架构,秒级弹性,按量计费,比开源自建成本降低30%+。

这一系列核心战略合作,都是围绕一站式数据管理平台愿景的战略布局,旨在让数据平台像搭积木一样好用、易用。当用户需要插入新的“积木块”时,数据平台可以快速形成生产力,让企业客户享受全方位、一站式的平台优势。

数据库的发展史,也是IT技术创新史的缩影,新兴应用场景不断驱动着这一行业的创新。传统商业数据库,在面对高并发业务实时数据处理需求时,会受限于硬件扩展性和运维复杂性。云原生数据库,则凭借其高度弹性、自动伸缩及与云基础设施的深度融合,为企业提供了快速响应市场业务峰谷变化的能力,显著提高了业务敏捷性和数据处理效率。

目前,阿里云瑶池数据库已在千行百业的核心业务中落地应用,服务于自然人税收管理系统、全国60%的省级医保信息平台、广东移动、上交所、友邦保险、南方基金、上海市新能源汽车数据平台、掌阅科技、莉莉丝游戏、识货APP等金融、政务、电信、互联网多领域的大型企业。

以阿里云瑶池旗下自研的云原生数据库PolarDB为例,其商业化应用在生活中随处可见。阿里巴巴集团内部的电商业务,曾对PolarDB提出了世界级的技术挑战,比如在天猫“双11”峰值零点后的第一秒,交易量会瞬间激增高达145倍。PolarDB在此期间创下了每秒处理1.4亿次事务(TPS)的世界级记录。

在保险领域,每年一月的“开门红”活动是保险行业的“双11”,当月销售或占全年销售总额50%,保单峰值则是平时10倍以上。保险行业的数据处理有“读多写少”的特点,传统关系型数据库最多支持1写8读,平均一笔订单处理时长为1-2秒,多订单并行会导致处理速度下降,订单只能次日生效。

友邦保险集团自2019年起启动“Cloud First”战略,计划推动业务系统从传统数据中心向“云原生分布式”转型。友邦人寿与阿里云达成合作,在“开门红”等高峰场景下引入云原生数据库以支撑业务系统对弹性、扩展的需求。PolarDB凭借一写多读(1写15读甚至更多读)、并行查询等功能,解决了友邦每笔保单生成、处理过程中的大量查询操作和成百上千次的读请求。在流量洪峰等特殊情况下,PolarDB每秒可以处理上千笔订单,轻松应对友邦人寿“开门红”活动流量洪峰时的系统拥堵问题,确保订单实时生效。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
15天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1天前
|
运维 数据挖掘 Serverless
阿里云Elasticsearch Serverless助力某电商平台公司实现商品订单数据的实时写入查询
某电商平台公司采用阿里云Elasticsearch Serverless解决方案,实现商品、订单和其他关键信息的写入和查询的实时响应。
|
14天前
|
存储 机器学习/深度学习 人工智能
新一代数据库技术:融合AI的智能数据管理系统
传统数据库管理系统在数据存储和查询方面已经取得了巨大的成就,但随着数据量的不断增长和应用场景的多样化,传统数据库已经难以满足日益增长的需求。本文将介绍一种新一代数据库技术,即融合了人工智能技术的智能数据管理系统。通过结合AI的强大能力,这种系统能够实现更高效的数据管理、更智能的数据分析和更精准的数据预测,为用户带来全新的数据管理体验。
|
14天前
|
存储 大数据 数据处理
矢量数据库与大数据平台的集成:实现高效数据处理
【4月更文挑战第30天】本文探讨了矢量数据库与大数据平台的集成,以实现高效数据处理。集成通过API、中间件或容器化方式,结合两者优势,提升处理效率,简化流程,并增强数据安全。关键技术支持包括分布式计算、数据压缩编码、索引优化和流处理,以优化性能和实时性。随着技术发展,这种集成将在数据处理领域发挥更大作用。
|
14天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
27 0
|
14天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
33 1
|
15天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
31 1
|
14天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
38 0
|
14天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在DataWorks中,MaxCompute创建外部表,MaxCompute和DataWorks的数据一直保持一致如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0
DataWorks产品使用合集之在DataWorks中,MaxCompute创建外部表,MaxCompute和DataWorks的数据一直保持一致如何解决
|
15天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之在DataWorks中,从Elasticsearch同步数据到ODPS时同步_id字段的如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
30 0