《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

一、 数据库业界发展趋势:全面拥抱云原生

 1. 技术趋势:云计算加速数据库系统演进

image.png

 

数据库技术是一个经典的技术,其基础理论早在上世纪70年代就已经基本成熟;在80年代就出现了商业化的产品。其后,每隔10年,数据库技术都会有标志性的产品出现。当然,云计算的出现也加速了数据库技术的发展。

 

在处理能力上,数据库从结构化数据处理、在线事务处理逐步向着海量数据的计算分析演进;在数据模型上,从传统的结构化模型逐步向着异构数据模型演进,越来越多的数据库都支持图、文档、时序、时空等新型数据模型。

 

云计算技术的发展给数据库带来了再次发展的机遇,云计算使得数据库向着云原生方向演进。其基本特征有两个,一个是计算分析一体化,减少数据处理过程中的数据移动,提升了数据的处理效率;另一个是存储计算分离,通过资源池化和资源解耦来满足高可扩展、高性能、弹性等需求。

 

2. 数据库技术架构演进:云原生分布式是未来

image.png

 

接下来,我们再来深入看一下数据库的架构演进过程。

 

从最早期的单体数据库开始,随着业务量和数据量的增长,单体数据库逐步向着分布式数据库演进。演进有两类技术路线:

 

基于共享存储,在这种架构下,事务一致性易于保证、使用体验与单机基本一致,局限性在于存储扩展能力存在上限,同时,性能受制于存储与计算之间的IO能力。

 

无共享架构,在这种架构下,单个节点同时包含存储和计算资源,优势在于扩展能力理论上无上限,局限性在于存储计算必须同步扩展,同时,性能受制于数据分布规则,使用门槛较高。

 

云计算技术推动了两种分布式架构的融合演进。基于云原生架构,在存算分离的基础上,计算和存储都可以随需求扩展;同时,分布式计算技术逐渐融入云原生架构,云原生数据库开始支持各种分布式计算模型,包括BSP模型、MPP模型等。

 

我们认为,未来的数据库会向着云原生分布式的方向不断演进,这也是我们在开源工作上会持续推进的方向。

 

二、 阿里云数据库整体开源策略

image.png

接下来和大家分享一下,我们过去一年在开源PolarDB上的两条开源策略。

 

策略一,兼容生态。因为数据库产品,它在整个IT软件体系中是一个承上启下的组件,所以数据库的发展是离不开生态的。众所周知,数据库领域有两大开源生态,MySQL和PostgreSQl,所以在刚才重磅发布上也体现了两款产品,PolarDB-X兼容MySQL的生态,PolarDB for PG兼容PG的生态。

image.png

 

策略二,把云上的产品直接开源。那么为什么要坚持这个原则?真正开放的开源数据库,它到底应该给用户去带来什么呢?我们有以下两个思考:

 

第一个思考,因为数据库的稳定性要求特别高,所以我们希望开源出去的PolarDB一开始就是企业级的数据库,它需要够成熟、够稳定,才能支撑客户的关键应用,所以我们选择了把在云上经过无数打磨的PolarDB云产品直接开源。

 

第二个思考,大家都知道阿里云数据库起源于开源,我们享受了大量开源数据库给我们的红利。现在我们发展起来了,我们也应该把我们认为做的好的技术,以及能够给用户和开发者带来帮助的技术回馈给社区,让更多的用户和开发者和我们一起,共同推进云原生分布式技术的发展。

 

三、 开源产品系列

image.png

 

接下来介绍一下我们开源的两款产品,PolarDB-X和PolarDB for PG。上面也提到了,PolarDB-X兼容MySQL生态,PolarDB for PG兼容PG生态。

image.png

 

上图是PolarDB-X的架构,它包括4个组件,分别是全局管理服务、计算集群、存储集群、日志集群。

 

最上面GMS是全局管理服务,主要提供元数据维护和全局授时服务。下面从左到右依次是计算集群、存储集群、日志集群。

 

计算集群是无状态的,可以快速扩展,主要负责SQL执行与路由、分布式事务、全局索引维护等功能。

 

存储集群负责数据的存储,它通过Paxos协议来保证数据的高可靠性,同时,也会配合计算集群,基于MVCC做分布式事务的可见性判断。Paxos还使得存储集群具备异地多活的部署能力,满足“两地三中心”、“三地五中心”等部署形态,为金融等行业提供数据高可靠性能力保障。

 

日志集群最大的特点就是提供100%兼容MySQL的binlog日志,因为“100%兼容”,所以PolarDB-X可以很方便的接入目前的数据链路生态,为下游数据处理提供业务数据。

 image.png

 

接下来我们看一下PolarDB for PG的架构,如上图。与PolarDB-X不同,PolarDB for PG采用“共享存储、一写多读”架构:计算节点的无状态特性,使得这种架构能提供极致的弹性,特别适用于有“洪峰式”流量的场景,如电商、出行、游戏、直播等等。

 

同时,由于PolarDB for PG 100%兼容PG生态,可以享受PG社区丰富的插件红利,基于插件,PolarDB for PG可以提供时空分析、分布式处理等高级功能。

 

image.png 

 

上图这是我们云产品的开源时间线,最近一年,我们发布了大量的企业级特性,来满足用户的实际生产需求。包括分析能力提升、安全加密、审计容灾、闪回查询、性能优化等。未来我们将持续开源相关企业级能力,并加大在国产适配和生态适配上的投入。

 

更多精彩内容,欢迎观看:

《云计算加速开源创新》——打造世界级云原生数据库开源社区(下):

https://developer.aliyun.com/article/1223923?groupCode=tech_library

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
存储 SQL 安全
应用案例|开源 PolarDB-X 在互联网安全场景的应用实践
中盾集团采用PolarDB-X云原生分布式数据库开源版本,有效解决了大数据量处理、复杂查询以及历史数据维护等难题,实现了业务的高效扩展与优化。
|
3月前
|
Oracle 数据管理 关系型数据库
云数据库问题之云计算的普及化对中国数据库厂商的全球化发展有什么影响
云数据库问题之云计算的普及化对中国数据库厂商的全球化发展有什么影响
|
22天前
|
数据库
|
30天前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
37 3
|
1月前
|
存储 关系型数据库 分布式数据库
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
|
1月前
|
SQL JSON 关系型数据库
MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
【10月更文挑战第3天】MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
148 5
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
92 2
|
2月前
|
关系型数据库 分布式数据库 数据库
开源云原生数据库PolarDB PostgreSQL 15兼容版本正式发布
PolarDB进行了深度的内核优化,从而实现以更低的成本提供商业数据库的性能。
|
2月前
惊世骇俗!开源 PolarDB-X 部署安装大冒险,全程心跳与惊喜不断!
【9月更文挑战第8天】作为技术爱好者的我,近期成功完成了开源 PolarDB-X 的部署安装。尽管过程中遇到不少挑战,但通过精心准备环境、下载安装包、配置参数及启动服务等步骤,最终顺利实现部署。本文将详细介绍部署全过程及可能遇到的问题,为您的 PolarDB-X 探索之旅提供参考与启发,希望能让大家在技术海洋里畅游得更加顺利!
157 2
|
2月前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB开源项目未来展望:技术趋势与社区发展方向
【9月更文挑战第5天】随着云计算技术的发展,阿里云推出的云原生分布式数据库PolarDB受到广泛关注。本文探讨PolarDB的未来展望,包括云原生与容器化集成、HTAP及实时分析能力提升、智能化运维与自动化管理等技术趋势;并通过加强全球开源社区合作、拓展行业解决方案及完善开发者生态等措施推动社区发展,目标成为全球领先的云原生数据库之一,为企业提供高效、可靠的服务。
96 5

热门文章

最新文章

下一篇
无影云桌面