进入云原生、分布式的时代 什么才是数据库的正确打开方式

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Gartner 公布 2020 年度全球数据库魔力象限评估结果,在今年Gartner将OPDBMS(事务性关系型数据库)与DMSA(大数据管理与分析)合二为一成为新的Cloud DBMS Market(统一的云数据库系统市场)的挑战下,阿里云挺进全球数据库第一阵营——领导者象限,是中国数据库历史上重大突破,也是中国基础软件行业首次进入Gartner魔力象限的全球领导者。

文章来源:路沙 中国信息化周报

李飞飞,阿里花名飞刀,2018年加入并带领阿里云数据库团队。两年后,Gartner 公布 2020 年度全球数据库魔力象限评估结果,在今年Gartner将OPDBMS(事务性关系型数据库)与DMSA(大数据管理与分析)合二为一成为新的Cloud DBMS Market(统一的云数据库系统市场)的挑战下,阿里云挺进全球数据库第一阵营——领导者象限,是中国数据库历史上重大突破,也是中国基础软件行业首次进入Gartner魔力象限的全球领导者。从表面上看,这是一种从挑战者到领导者之间的角色转变。不过这种角色转变的背后却代表着中国技术正日益走向国际舞台,并日渐成为这个舞台当中的佼佼者。就像Gartner分析师在报告中所说的那样:“阿里云拥有丰富的数据库种类覆盖度和完善的产品布局,为用户提供了多种关系型、分析型和非关系型数据库产品,还提供了混合云环境部署,同时集成了备份、数据迁移与同步等能力,并且阿里云有非常强大的技术实力与创新能力。”

DTC李飞飞1.jpg

也正是凭借这种能力使得消费者在今年又度过了一个有着丝般顺滑体验的双十一购物之夜。据统计,今年双十一交易峰值是每秒58.3万笔,每笔订单背后包括商品、交易、支付、物流、评价等复杂的业务逻辑,,对于数据库来讲就变成了上亿甚至更高的每秒事务处理能力。不过对于坐在电脑前的消费者来说,尽管瞬间产生了如此大规模的高并发流量,但选款、下单、付款的购物流程,仍然是一气呵成,“如丝般润滑”。

在阿里巴巴副总裁,阿里云数据库事业部负责人李飞飞看来,双十一的场景特点就是数量大,并发高,瞬间对系统的要求非常极致,所以阿里巴巴主要通过云原生架构的突破以及分布式技术的应用,实现了资源池化,资源池化以后进一步实现存储计算分离,这样带来的好处就是极致的弹性以及高可用,从而可以在短时间内快速的分配资源,然后满足这种系统负载瞬间飙高的场景需求。

为什么要将一个个竖井变成相互贯通的“水池”

李飞飞表示,云的本质就是利用虚拟化的技术将资源池化,从而进一步实现计算存储分离和资源解耦。这就像以前家家户户打水井,每个水井都独立的,但今天我们实际上是要把水井底部打通,形成一个暗的池塘,做到资源池化,从而提升资源的使用率。

这种技术优势是传统IT基础设施当中计算存储紧耦合和单一的分布式架构所不能比拟的。因为单一的分布式的架构,在面对数据只读、读写,甚至数据一致性等问题时,会变得越来越复杂,挑战自然也会越来越多。而实现资源池化,并在这个基础上做资源解耦,可以享受到极致弹性和高可用的性能。“在这个前提下,我们认为在云原生的时代,数据库的设计和数据库的理念都将发生本质性的变化。”李飞飞这样讲道。

作为前沿技术的创新者和引领者,阿里巴巴自然不会坐失机遇。可以看到,阿里巴巴首次在行业内提出了云原生分布式数据库的概念。对于云原生分布式数据库,李飞飞表示,随着企业业务全面向数字化、在线化、智能化演进,企业面临着呈指数级递增的海量存储需求和挑战,业务有更多的热点和突发流量带来的挑战,而云原生分布式数据库带来的四大特性,很好地解决了企业用户的核心诉求。从资源池化到弹性扩展,再到智能运维,再到离在线一体化。利用这些核心的特性,数据库也将全面的进入云原生加分布式的时代。

不仅如此,在云原生数据库层面,阿里巴巴还推出了核心的云原生关系型数据库 PolarDB 以及分布式版 PolarDB-X ;在传统的 OLAP 领域,推出了新一代云原生数据仓库 AnalyticDB以及云原生数据湖分析 Data Lake Analytics;在NoSQL领域,推出了云原生多模数据库Lindorm和云原生内存数据库Tair。除此之外还构建了企业级数据库生态工具产品体系,以及云原生智能化数据库管控平台。

从管控平台,到生态工具,再到具体领域的相应技术产品,在记者看来,阿里巴巴正在日益构建一个数据库产品的闭环。对此,李飞飞认为,通过丰富的数据库产品体系来构建一个丰富的生态,能够让客户在这个生态当中用数据库的方法解决诸多数据处理、存储分析、计算所面临的挑战和问题,这不仅是阿里巴巴的基本出发点,也是客户学习曲线最低,应用成本最低的一种方案。


从离在线一体化诉求到数据库大数据一体化技术趋势

当记者问道,随着阿里巴巴在行业内实践的日渐深入,我们有没有发现目前客户呈现出的一些明显的需求变化时,李飞飞着重强调了离在线一体化计算分析的诉求。在他看来,传统的数据库可能只做在线交易和在线分析,但客户越来越希望通过一套系统能够解决数据处理过程中整个链路的诉求。也就是说,不仅仅能做在线分析,最好也能做离线的复杂计算分析。

DTC李飞飞2.jpg

基于此,李飞飞提到了HTAP以及数据库大数据一体化技术。HTAP技术能够将在线事务处理和在线分析与计算合二为一,数据库大数据一体化技术将在线分析和离线计算合二为一, 结合MPP和BSP技术,提供交互式分析和复杂离线ETL的一体化处理。从产品体系上,基于这种诉求和技术趋势,阿里巴巴要为客户提供端到端的数据能力,包括生产、处理、存储、计算分析等。

对此,李飞飞表示,这就要求我们不仅要具备丰富的产品体系,还要构建一个开放的合作生态。众所周知,阿里巴巴在数据库领域已经形成了从管控平台,到生态工具,再到具体领域的相应技术产品的丰富体系。而对于构建开放的合作生态,李飞飞提到,数据库系统发展已经将近40年,如果你想在这个赛道上另起炉灶,重新建立生态,这几乎是不可能完成的事情。虽然这并不代表就不能做到自研自主可控,但是上面的使用习惯、使用语法一定要兼容现有的生态,这样才能快速的融入现有的体系当中去,而不是把现有的体系全部彻底推翻,然后让大家来适应你。

基于这种理解,如今阿里巴巴数据库的核心产品PolarDB和AnalyticDB都在做兼容性的工作。比如说PolarDB100%兼入MySQL、100%兼容PostgreSQL,还有高度兼容Oracle的版本,AnalyticDB 高度兼容MySQL, 100%兼容PostgreSQL和Greenplum, 高度兼容Oracle和TeraData的版本。在李飞飞看来,所有的这些工作本质上就是为了更好地服务现有的生态,融入现有的生态体系。到具体操作层面,首先从系统架构上,尽可能保障系统设计和现有的系统架构不要有太大的差异化。其次,虽然从架构上做了存储计算分离,资源池化,但是除此之外,并不希望彻底的改变现有的这些架构,而是尽可能的让内核能够和现有的架构有一个比较好的融合。这样一来,用户从现有的生态体系迁移到阿里巴巴的数据库上就不会有太大的挑战。

最后,李飞飞表示,数据库领域的核心发展方向是云原生+分布式,并由此带来了几个核心技术布局:数据库与大数据一体化、智能化、安全可信、软硬件一体化、离在线一体化、多模数据处理。在这些方面,未来阿里云数据库将深度结合云原生与分布式,通过存储计算分离等技术以及积极构建开放的融合生态,帮助用户最大限度的实现资源池化、弹性变配、超高并发等能力,实现数据从生产、到处理、到存储、再到分析计算的一体化体验。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
7天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
37 2
|
1月前
|
Oracle 关系型数据库 分布式数据库
分布式数据库集成解决方案
分布式数据库集成解决方案
204 0
|
2天前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
存储 传感器 数据管理
【软件设计师备考 专题 】面向对象数据库和分布式对象:理解新的数据管理概念
【软件设计师备考 专题 】面向对象数据库和分布式对象:理解新的数据管理概念
53 0
|
1月前
|
存储 数据采集 数据挖掘
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
【软件设计师备考 专题 】数据仓库和分布式数据库基础知识
198 0
|
1月前
|
存储 分布式计算 大数据
现代化数据库技术——面向大数据的分布式存储系统
传统的关系型数据库在面对大规模数据处理时遇到了诸多挑战,而面向大数据的分布式存储系统应运而生。本文将深入探讨现代化数据库技术中的分布式存储系统,包括其优势、工作原理以及在大数据领域的应用。
|
1月前
|
存储 SQL 分布式计算
TiDB整体架构概览:构建高效分布式数据库的关键设计
【2月更文挑战第26天】本文旨在全面概述TiDB的整体架构,深入剖析其关键组件和功能,从而帮助读者理解TiDB如何构建高效、稳定的分布式数据库。我们将探讨TiDB的计算层、存储层以及其他核心组件,并解释这些组件是如何协同工作以实现卓越的性能和扩展性的。通过本文,读者将能够深入了解TiDB的整体架构,为后续的学习和实践奠定坚实基础。
|
1月前
|
存储 供应链 安全
新一代数据库技术:融合区块链与分布式存储的未来前景
传统的数据库技术在面对大规模数据存储和安全性方面存在诸多挑战,而新一代数据库技术正在崭露头角。本文将探讨如何融合区块链与分布式存储技术,为数据库领域带来全新的发展机遇,并分析其在实际应用中的潜力与前景。
|
1月前
|
运维 关系型数据库 分布式数据库
客户说|从4小时到15分钟,一次分布式数据库的丝滑体验
识货APP致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购朋友带来及时劲爆的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。它提供了全球范围内的时尚品牌、潮流单品的信息,帮助用户发现和购买最新、最热、最具性价比的时尚商品。近年来,各大电商平台上的商品信息持续增加,海量商品信息增加了消费者的选购成本。识货从用户视角出发,不断整合行业渠道供给,降低发现和筛选成本,帮助用户更高效地购买到最具性价比的产品。
|
1月前
|
运维 关系型数据库 分布式数据库
客户说|从4小时到15分钟,一次分布式数据库的丝滑体验
识货APP引入PolarDB分布式版,轻松完成分布式演进
客户说|从4小时到15分钟,一次分布式数据库的丝滑体验