进入云原生、分布式的时代 什么才是数据库的正确打开方式

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: Gartner 公布 2020 年度全球数据库魔力象限评估结果,在今年Gartner将OPDBMS(事务性关系型数据库)与DMSA(大数据管理与分析)合二为一成为新的Cloud DBMS Market(统一的云数据库系统市场)的挑战下,阿里云挺进全球数据库第一阵营——领导者象限,是中国数据库历史上重大突破,也是中国基础软件行业首次进入Gartner魔力象限的全球领导者。

文章来源:路沙 中国信息化周报

李飞飞,阿里花名飞刀,2018年加入并带领阿里云数据库团队。两年后,Gartner 公布 2020 年度全球数据库魔力象限评估结果,在今年Gartner将OPDBMS(事务性关系型数据库)与DMSA(大数据管理与分析)合二为一成为新的Cloud DBMS Market(统一的云数据库系统市场)的挑战下,阿里云挺进全球数据库第一阵营——领导者象限,是中国数据库历史上重大突破,也是中国基础软件行业首次进入Gartner魔力象限的全球领导者。从表面上看,这是一种从挑战者到领导者之间的角色转变。不过这种角色转变的背后却代表着中国技术正日益走向国际舞台,并日渐成为这个舞台当中的佼佼者。就像Gartner分析师在报告中所说的那样:“阿里云拥有丰富的数据库种类覆盖度和完善的产品布局,为用户提供了多种关系型、分析型和非关系型数据库产品,还提供了混合云环境部署,同时集成了备份、数据迁移与同步等能力,并且阿里云有非常强大的技术实力与创新能力。”

DTC李飞飞1.jpg

也正是凭借这种能力使得消费者在今年又度过了一个有着丝般顺滑体验的双十一购物之夜。据统计,今年双十一交易峰值是每秒58.3万笔,每笔订单背后包括商品、交易、支付、物流、评价等复杂的业务逻辑,,对于数据库来讲就变成了上亿甚至更高的每秒事务处理能力。不过对于坐在电脑前的消费者来说,尽管瞬间产生了如此大规模的高并发流量,但选款、下单、付款的购物流程,仍然是一气呵成,“如丝般润滑”。

在阿里巴巴副总裁,阿里云数据库事业部负责人李飞飞看来,双十一的场景特点就是数量大,并发高,瞬间对系统的要求非常极致,所以阿里巴巴主要通过云原生架构的突破以及分布式技术的应用,实现了资源池化,资源池化以后进一步实现存储计算分离,这样带来的好处就是极致的弹性以及高可用,从而可以在短时间内快速的分配资源,然后满足这种系统负载瞬间飙高的场景需求。

为什么要将一个个竖井变成相互贯通的“水池”

李飞飞表示,云的本质就是利用虚拟化的技术将资源池化,从而进一步实现计算存储分离和资源解耦。这就像以前家家户户打水井,每个水井都独立的,但今天我们实际上是要把水井底部打通,形成一个暗的池塘,做到资源池化,从而提升资源的使用率。

这种技术优势是传统IT基础设施当中计算存储紧耦合和单一的分布式架构所不能比拟的。因为单一的分布式的架构,在面对数据只读、读写,甚至数据一致性等问题时,会变得越来越复杂,挑战自然也会越来越多。而实现资源池化,并在这个基础上做资源解耦,可以享受到极致弹性和高可用的性能。“在这个前提下,我们认为在云原生的时代,数据库的设计和数据库的理念都将发生本质性的变化。”李飞飞这样讲道。

作为前沿技术的创新者和引领者,阿里巴巴自然不会坐失机遇。可以看到,阿里巴巴首次在行业内提出了云原生分布式数据库的概念。对于云原生分布式数据库,李飞飞表示,随着企业业务全面向数字化、在线化、智能化演进,企业面临着呈指数级递增的海量存储需求和挑战,业务有更多的热点和突发流量带来的挑战,而云原生分布式数据库带来的四大特性,很好地解决了企业用户的核心诉求。从资源池化到弹性扩展,再到智能运维,再到离在线一体化。利用这些核心的特性,数据库也将全面的进入云原生加分布式的时代。

不仅如此,在云原生数据库层面,阿里巴巴还推出了核心的云原生关系型数据库 PolarDB 以及分布式版 PolarDB-X ;在传统的 OLAP 领域,推出了新一代云原生数据仓库 AnalyticDB以及云原生数据湖分析 Data Lake Analytics;在NoSQL领域,推出了云原生多模数据库Lindorm和云原生内存数据库Tair。除此之外还构建了企业级数据库生态工具产品体系,以及云原生智能化数据库管控平台。

从管控平台,到生态工具,再到具体领域的相应技术产品,在记者看来,阿里巴巴正在日益构建一个数据库产品的闭环。对此,李飞飞认为,通过丰富的数据库产品体系来构建一个丰富的生态,能够让客户在这个生态当中用数据库的方法解决诸多数据处理、存储分析、计算所面临的挑战和问题,这不仅是阿里巴巴的基本出发点,也是客户学习曲线最低,应用成本最低的一种方案。


从离在线一体化诉求到数据库大数据一体化技术趋势

当记者问道,随着阿里巴巴在行业内实践的日渐深入,我们有没有发现目前客户呈现出的一些明显的需求变化时,李飞飞着重强调了离在线一体化计算分析的诉求。在他看来,传统的数据库可能只做在线交易和在线分析,但客户越来越希望通过一套系统能够解决数据处理过程中整个链路的诉求。也就是说,不仅仅能做在线分析,最好也能做离线的复杂计算分析。

DTC李飞飞2.jpg

基于此,李飞飞提到了HTAP以及数据库大数据一体化技术。HTAP技术能够将在线事务处理和在线分析与计算合二为一,数据库大数据一体化技术将在线分析和离线计算合二为一, 结合MPP和BSP技术,提供交互式分析和复杂离线ETL的一体化处理。从产品体系上,基于这种诉求和技术趋势,阿里巴巴要为客户提供端到端的数据能力,包括生产、处理、存储、计算分析等。

对此,李飞飞表示,这就要求我们不仅要具备丰富的产品体系,还要构建一个开放的合作生态。众所周知,阿里巴巴在数据库领域已经形成了从管控平台,到生态工具,再到具体领域的相应技术产品的丰富体系。而对于构建开放的合作生态,李飞飞提到,数据库系统发展已经将近40年,如果你想在这个赛道上另起炉灶,重新建立生态,这几乎是不可能完成的事情。虽然这并不代表就不能做到自研自主可控,但是上面的使用习惯、使用语法一定要兼容现有的生态,这样才能快速的融入现有的体系当中去,而不是把现有的体系全部彻底推翻,然后让大家来适应你。

基于这种理解,如今阿里巴巴数据库的核心产品PolarDB和AnalyticDB都在做兼容性的工作。比如说PolarDB100%兼入MySQL、100%兼容PostgreSQL,还有高度兼容Oracle的版本,AnalyticDB 高度兼容MySQL, 100%兼容PostgreSQL和Greenplum, 高度兼容Oracle和TeraData的版本。在李飞飞看来,所有的这些工作本质上就是为了更好地服务现有的生态,融入现有的生态体系。到具体操作层面,首先从系统架构上,尽可能保障系统设计和现有的系统架构不要有太大的差异化。其次,虽然从架构上做了存储计算分离,资源池化,但是除此之外,并不希望彻底的改变现有的这些架构,而是尽可能的让内核能够和现有的架构有一个比较好的融合。这样一来,用户从现有的生态体系迁移到阿里巴巴的数据库上就不会有太大的挑战。

最后,李飞飞表示,数据库领域的核心发展方向是云原生+分布式,并由此带来了几个核心技术布局:数据库与大数据一体化、智能化、安全可信、软硬件一体化、离在线一体化、多模数据处理。在这些方面,未来阿里云数据库将深度结合云原生与分布式,通过存储计算分离等技术以及积极构建开放的融合生态,帮助用户最大限度的实现资源池化、弹性变配、超高并发等能力,实现数据从生产、到处理、到存储、再到分析计算的一体化体验。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
4月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
2月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
4月前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
351 0
|
29天前
|
关系型数据库 分布式数据库 数据库
PostgreSQL+Citus分布式数据库
PostgreSQL+Citus分布式数据库
60 15
|
2月前
|
SQL 关系型数据库 分布式数据库
Citus 简介,将 Postgres 转换为分布式数据库
【10月更文挑战第4天】Citus 简介,将 Postgres 转换为分布式数据库
95 4
|
2月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
49 0
|
3月前
|
人工智能 Kubernetes Cloud Native
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
|
4月前
|
存储 缓存 负载均衡
【PolarDB-X 技术揭秘】Lizard B+tree:揭秘分布式数据库索引优化的终极奥秘!
【8月更文挑战第25天】PolarDB-X是阿里云的一款分布式数据库产品,其核心组件Lizard B+tree针对分布式环境优化,解决了传统B+tree面临的数据分片与跨节点查询等问题。Lizard B+tree通过一致性哈希实现数据分片,确保分布式一致性;智能分区实现了负载均衡;高效的搜索算法与缓存机制降低了查询延迟;副本机制确保了系统的高可用性。此外,PolarDB-X通过自适应分支因子、缓存优化、异步写入、数据压缩和智能分片等策略进一步提升了Lizard B+tree的性能,使其能够在分布式环境下提供高性能的索引服务。这些优化不仅提高了查询速度,还确保了系统的稳定性和可靠性。
97 5
|
4月前
|
运维 安全 Cloud Native
核心系统转型问题之保障云原生分布式转型中的基础设施和应用层面如何解决
核心系统转型问题之保障云原生分布式转型中的基础设施和应用层面如何解决
|
4月前
|
运维 安全 Cloud Native
核心系统转型问题之分布式数据库和数据访问中间件协作如何解决
核心系统转型问题之分布式数据库和数据访问中间件协作如何解决