《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

一、 数据库业界发展趋势:全面拥抱云原生

 1. 技术趋势:云计算加速数据库系统演进

image.png

 

数据库技术是一个经典的技术,其基础理论早在上世纪70年代就已经基本成熟;在80年代就出现了商业化的产品。其后,每隔10年,数据库技术都会有标志性的产品出现。当然,云计算的出现也加速了数据库技术的发展。

 

在处理能力上,数据库从结构化数据处理、在线事务处理逐步向着海量数据的计算分析演进;在数据模型上,从传统的结构化模型逐步向着异构数据模型演进,越来越多的数据库都支持图、文档、时序、时空等新型数据模型。

 

云计算技术的发展给数据库带来了再次发展的机遇,云计算使得数据库向着云原生方向演进。其基本特征有两个,一个是计算分析一体化,减少数据处理过程中的数据移动,提升了数据的处理效率;另一个是存储计算分离,通过资源池化和资源解耦来满足高可扩展、高性能、弹性等需求。

 

2. 数据库技术架构演进:云原生分布式是未来

image.png

 

接下来,我们再来深入看一下数据库的架构演进过程。

 

从最早期的单体数据库开始,随着业务量和数据量的增长,单体数据库逐步向着分布式数据库演进。演进有两类技术路线:

 

基于共享存储,在这种架构下,事务一致性易于保证、使用体验与单机基本一致,局限性在于存储扩展能力存在上限,同时,性能受制于存储与计算之间的IO能力。

 

无共享架构,在这种架构下,单个节点同时包含存储和计算资源,优势在于扩展能力理论上无上限,局限性在于存储计算必须同步扩展,同时,性能受制于数据分布规则,使用门槛较高。

 

云计算技术推动了两种分布式架构的融合演进。基于云原生架构,在存算分离的基础上,计算和存储都可以随需求扩展;同时,分布式计算技术逐渐融入云原生架构,云原生数据库开始支持各种分布式计算模型,包括BSP模型、MPP模型等。

 

我们认为,未来的数据库会向着云原生分布式的方向不断演进,这也是我们在开源工作上会持续推进的方向。

 

二、 阿里云数据库整体开源策略

image.png

接下来和大家分享一下,我们过去一年在开源PolarDB上的两条开源策略。

 

策略一,兼容生态。因为数据库产品,它在整个IT软件体系中是一个承上启下的组件,所以数据库的发展是离不开生态的。众所周知,数据库领域有两大开源生态,MySQL和PostgreSQl,所以在刚才重磅发布上也体现了两款产品,PolarDB-X兼容MySQL的生态,PolarDB for PG兼容PG的生态。

image.png

 

策略二,把云上的产品直接开源。那么为什么要坚持这个原则?真正开放的开源数据库,它到底应该给用户去带来什么呢?我们有以下两个思考:

 

第一个思考,因为数据库的稳定性要求特别高,所以我们希望开源出去的PolarDB一开始就是企业级的数据库,它需要够成熟、够稳定,才能支撑客户的关键应用,所以我们选择了把在云上经过无数打磨的PolarDB云产品直接开源。

 

第二个思考,大家都知道阿里云数据库起源于开源,我们享受了大量开源数据库给我们的红利。现在我们发展起来了,我们也应该把我们认为做的好的技术,以及能够给用户和开发者带来帮助的技术回馈给社区,让更多的用户和开发者和我们一起,共同推进云原生分布式技术的发展。

 

三、 开源产品系列

image.png

 

接下来介绍一下我们开源的两款产品,PolarDB-X和PolarDB for PG。上面也提到了,PolarDB-X兼容MySQL生态,PolarDB for PG兼容PG生态。

image.png

 

上图是PolarDB-X的架构,它包括4个组件,分别是全局管理服务、计算集群、存储集群、日志集群。

 

最上面GMS是全局管理服务,主要提供元数据维护和全局授时服务。下面从左到右依次是计算集群、存储集群、日志集群。

 

计算集群是无状态的,可以快速扩展,主要负责SQL执行与路由、分布式事务、全局索引维护等功能。

 

存储集群负责数据的存储,它通过Paxos协议来保证数据的高可靠性,同时,也会配合计算集群,基于MVCC做分布式事务的可见性判断。Paxos还使得存储集群具备异地多活的部署能力,满足“两地三中心”、“三地五中心”等部署形态,为金融等行业提供数据高可靠性能力保障。

 

日志集群最大的特点就是提供100%兼容MySQL的binlog日志,因为“100%兼容”,所以PolarDB-X可以很方便的接入目前的数据链路生态,为下游数据处理提供业务数据。

 image.png

 

接下来我们看一下PolarDB for PG的架构,如上图。与PolarDB-X不同,PolarDB for PG采用“共享存储、一写多读”架构:计算节点的无状态特性,使得这种架构能提供极致的弹性,特别适用于有“洪峰式”流量的场景,如电商、出行、游戏、直播等等。

 

同时,由于PolarDB for PG 100%兼容PG生态,可以享受PG社区丰富的插件红利,基于插件,PolarDB for PG可以提供时空分析、分布式处理等高级功能。

 

image.png 

 

上图这是我们云产品的开源时间线,最近一年,我们发布了大量的企业级特性,来满足用户的实际生产需求。包括分析能力提升、安全加密、审计容灾、闪回查询、性能优化等。未来我们将持续开源相关企业级能力,并加大在国产适配和生态适配上的投入。

 

更多精彩内容,欢迎观看:

《云计算加速开源创新》——打造世界级云原生数据库开源社区(下):

https://developer.aliyun.com/article/1223923?groupCode=tech_library

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
64 3
|
3月前
|
Kubernetes Cloud Native 持续交付
云计算的转型之路:云原生技术的崛起与实践####
【10月更文挑战第16天】 本文深入探讨了云原生技术在现代IT架构变革中的核心作用,不同于传统概述,本摘要将聚焦于云原生如何促进企业实现敏捷开发、弹性伸缩及高效运维,通过具体案例分析展现其在实际业务场景中的创新应用,揭示这一技术趋势对企业数字化转型的深远影响。 ####
69 2
|
19天前
|
运维 监控 Cloud Native
云原生之运维监控实践:使用 taosKeeper 与 TDinsight 实现对 时序数据库TDengine 服务的监测告警
在数字化转型的过程中,监控与告警功能的优化对保障系统的稳定运行至关重要。本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品之一,详细介绍了如何利用 TDengine、taosKeeper 和 TDinsight 实现对 TDengine 服务的状态监控与告警功能。作者通过容器化安装 TDengine 和 Grafana,演示了如何配置 Grafana 数据源、导入 TDinsight 仪表板、以及如何设置告警规则和通知策略。欢迎大家阅读。
46 0
|
2月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
2月前
|
Cloud Native 持续交付 云计算
云计算的未来:云原生技术引领数字化转型新篇章####
本文旨在探讨云原生技术如何重塑云计算领域,推动企业实现前所未有的敏捷性、可扩展性和效率。我们将深入分析云原生的核心概念、关键技术组件(如容器化、微服务、持续集成/持续部署CI/CD),并通过实际案例展示其在不同行业中的应用成效。此外,还将探讨云原生面临的挑战及未来发展趋势,为读者提供全面而深入的理解。 ####
|
2月前
|
关系型数据库 分布式数据库 PolarDB
参与有礼|开源PolarDB文档捉虫
2024年9月,开源PolarDB-PG发布兼容PostgreSQL 15版本,为提升用户体验,特举办“开源文档捉虫”活动,邀请您反馈文档问题和优化建议。活动时间为2024年11月1日至2025年2月28日。参与即有机会赢取PolarDB开源社区T恤、新春茶碗及福字版印礼盒等丰富奖品。更多详情及反馈入口请点击链接。
参与有礼|开源PolarDB文档捉虫
|
2月前
|
数据库
|
2月前
|
Cloud Native 持续交付 云计算
云计算的转型之路:探索云原生架构的崛起与实践####
随着企业数字化转型加速,云原生架构以其高效性、灵活性和可扩展性成为现代IT基础设施的核心。本文深入探讨了云原生技术的关键要素,包括容器化、微服务、持续集成/持续部署(CI/CD)及无服务器架构等,并通过案例分析展示了这些技术如何助力企业实现敏捷开发、快速迭代和资源优化。通过剖析典型企业的转型经历,揭示云原生架构在应对市场变化、提升业务竞争力方面的巨大潜力。 ####
46 0
|
2月前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
236 4
|
2月前
|
存储 Cloud Native NoSQL
云原生时代的数据库选型与架构设计
云原生时代的数据库选型与架构设计
34 0

热门文章

最新文章