《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 《云计算加速开源创新》——打造世界级云原生数据库开源社区(上)

一、 数据库业界发展趋势:全面拥抱云原生

 1. 技术趋势:云计算加速数据库系统演进

image.png

 

数据库技术是一个经典的技术,其基础理论早在上世纪70年代就已经基本成熟;在80年代就出现了商业化的产品。其后,每隔10年,数据库技术都会有标志性的产品出现。当然,云计算的出现也加速了数据库技术的发展。

 

在处理能力上,数据库从结构化数据处理、在线事务处理逐步向着海量数据的计算分析演进;在数据模型上,从传统的结构化模型逐步向着异构数据模型演进,越来越多的数据库都支持图、文档、时序、时空等新型数据模型。

 

云计算技术的发展给数据库带来了再次发展的机遇,云计算使得数据库向着云原生方向演进。其基本特征有两个,一个是计算分析一体化,减少数据处理过程中的数据移动,提升了数据的处理效率;另一个是存储计算分离,通过资源池化和资源解耦来满足高可扩展、高性能、弹性等需求。

 

2. 数据库技术架构演进:云原生分布式是未来

image.png

 

接下来,我们再来深入看一下数据库的架构演进过程。

 

从最早期的单体数据库开始,随着业务量和数据量的增长,单体数据库逐步向着分布式数据库演进。演进有两类技术路线:

 

基于共享存储,在这种架构下,事务一致性易于保证、使用体验与单机基本一致,局限性在于存储扩展能力存在上限,同时,性能受制于存储与计算之间的IO能力。

 

无共享架构,在这种架构下,单个节点同时包含存储和计算资源,优势在于扩展能力理论上无上限,局限性在于存储计算必须同步扩展,同时,性能受制于数据分布规则,使用门槛较高。

 

云计算技术推动了两种分布式架构的融合演进。基于云原生架构,在存算分离的基础上,计算和存储都可以随需求扩展;同时,分布式计算技术逐渐融入云原生架构,云原生数据库开始支持各种分布式计算模型,包括BSP模型、MPP模型等。

 

我们认为,未来的数据库会向着云原生分布式的方向不断演进,这也是我们在开源工作上会持续推进的方向。

 

二、 阿里云数据库整体开源策略

image.png

接下来和大家分享一下,我们过去一年在开源PolarDB上的两条开源策略。

 

策略一,兼容生态。因为数据库产品,它在整个IT软件体系中是一个承上启下的组件,所以数据库的发展是离不开生态的。众所周知,数据库领域有两大开源生态,MySQL和PostgreSQl,所以在刚才重磅发布上也体现了两款产品,PolarDB-X兼容MySQL的生态,PolarDB for PG兼容PG的生态。

image.png

 

策略二,把云上的产品直接开源。那么为什么要坚持这个原则?真正开放的开源数据库,它到底应该给用户去带来什么呢?我们有以下两个思考:

 

第一个思考,因为数据库的稳定性要求特别高,所以我们希望开源出去的PolarDB一开始就是企业级的数据库,它需要够成熟、够稳定,才能支撑客户的关键应用,所以我们选择了把在云上经过无数打磨的PolarDB云产品直接开源。

 

第二个思考,大家都知道阿里云数据库起源于开源,我们享受了大量开源数据库给我们的红利。现在我们发展起来了,我们也应该把我们认为做的好的技术,以及能够给用户和开发者带来帮助的技术回馈给社区,让更多的用户和开发者和我们一起,共同推进云原生分布式技术的发展。

 

三、 开源产品系列

image.png

 

接下来介绍一下我们开源的两款产品,PolarDB-X和PolarDB for PG。上面也提到了,PolarDB-X兼容MySQL生态,PolarDB for PG兼容PG生态。

image.png

 

上图是PolarDB-X的架构,它包括4个组件,分别是全局管理服务、计算集群、存储集群、日志集群。

 

最上面GMS是全局管理服务,主要提供元数据维护和全局授时服务。下面从左到右依次是计算集群、存储集群、日志集群。

 

计算集群是无状态的,可以快速扩展,主要负责SQL执行与路由、分布式事务、全局索引维护等功能。

 

存储集群负责数据的存储,它通过Paxos协议来保证数据的高可靠性,同时,也会配合计算集群,基于MVCC做分布式事务的可见性判断。Paxos还使得存储集群具备异地多活的部署能力,满足“两地三中心”、“三地五中心”等部署形态,为金融等行业提供数据高可靠性能力保障。

 

日志集群最大的特点就是提供100%兼容MySQL的binlog日志,因为“100%兼容”,所以PolarDB-X可以很方便的接入目前的数据链路生态,为下游数据处理提供业务数据。

 image.png

 

接下来我们看一下PolarDB for PG的架构,如上图。与PolarDB-X不同,PolarDB for PG采用“共享存储、一写多读”架构:计算节点的无状态特性,使得这种架构能提供极致的弹性,特别适用于有“洪峰式”流量的场景,如电商、出行、游戏、直播等等。

 

同时,由于PolarDB for PG 100%兼容PG生态,可以享受PG社区丰富的插件红利,基于插件,PolarDB for PG可以提供时空分析、分布式处理等高级功能。

 

image.png 

 

上图这是我们云产品的开源时间线,最近一年,我们发布了大量的企业级特性,来满足用户的实际生产需求。包括分析能力提升、安全加密、审计容灾、闪回查询、性能优化等。未来我们将持续开源相关企业级能力,并加大在国产适配和生态适配上的投入。

 

更多精彩内容,欢迎观看:

《云计算加速开源创新》——打造世界级云原生数据库开源社区(下):

https://developer.aliyun.com/article/1223923?groupCode=tech_library

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
10天前
|
Kubernetes Cloud Native 持续交付
云计算的转型之路:云原生技术的崛起与实践####
【10月更文挑战第16天】 本文深入探讨了云原生技术在现代IT架构变革中的核心作用,不同于传统概述,本摘要将聚焦于云原生如何促进企业实现敏捷开发、弹性伸缩及高效运维,通过具体案例分析展现其在实际业务场景中的创新应用,揭示这一技术趋势对企业数字化转型的深远影响。 ####
29 2
|
2月前
|
存储 SQL 安全
应用案例|开源 PolarDB-X 在互联网安全场景的应用实践
中盾集团采用PolarDB-X云原生分布式数据库开源版本,有效解决了大数据量处理、复杂查询以及历史数据维护等难题,实现了业务的高效扩展与优化。
|
3月前
|
Cloud Native 安全 网络安全
云计算与网络安全:技术融合与挑战云原生技术在现代软件开发中的应用
【8月更文挑战第28天】在数字时代的浪潮中,云计算和网络安全成为信息技术领域的两大支柱。本文将探讨云计算服务的分类、特点及其面临的安全威胁,分析网络安全的基本概念、重要性以及信息安全的关键要素。同时,文章将深入讨论云计算环境下的网络安全问题,包括数据保护、访问控制和合规性挑战,并提出相应的解决策略和技术措施。最后,通过一个代码示例,展示如何在云计算环境中实现基本的数据加密,以增强信息的安全性。 【8月更文挑战第28天】 随着云计算技术的飞速发展,云原生技术已成为推动软件行业创新的关键力量。本文将深入探讨云原生的核心概念、优势以及如何在现代软件开发中有效利用云原生技术。我们将通过具体案例,展示
|
17天前
|
Cloud Native 持续交付 云计算
云计算的未来:探索云原生技术的崛起与影响
【10月更文挑战第9天】 在当今数字化转型的浪潮中,云计算已成为推动企业创新和效率提升的关键力量。随着技术的进步和市场需求的演变,一种新兴的技术趋势——云原生,正逐渐崭露头角,引领着云计算进入一个全新的发展阶段。本文将深入探讨云原生的概念、核心原则、关键技术以及它如何改变企业的运营模式和业务策略。通过分析云原生技术的优势、挑战和未来趋势,我们将揭示这一技术变革背后的深层含义,以及它如何塑造未来的数字生态系统。
|
19天前
|
存储 关系型数据库 分布式数据库
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
使用开源PolarDB和imgsmlr进行高效的图片存储和相似度搜索
|
17天前
|
Cloud Native 持续交付 云计算
云端新纪元:探索云原生技术的奥秘在当今数字化时代,云计算已成为推动企业创新和增长的关键动力。随着云平台的不断成熟,云原生技术应运而生,以其独特的优势引领着一场新的技术革命。本文将深入探讨云原生的核心概念、主要特点以及它如何改变现代软件开发和部署的方式,为您揭开云原生这一神秘面纱。
云原生是一种构建和运行应用程序的方法,充分利用了云平台的弹性、分布式本质以及声明式基础设施。本文将解析云原生的十二要素,微服务架构的优势,以及容器化、持续集成与持续部署(CI/CD)等核心技术的实践应用。通过深入浅出的方式,让读者理解云原生不仅是一种技术,更是一种文化和方法论,它正在重塑软件开发流程,提高资源利用率和应用系统的可扩展性与容错性。
|
23天前
|
SQL JSON 关系型数据库
MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
【10月更文挑战第3天】MySQL是一个广泛使用的开源关系型数据库管理系统,它有许多不同的版本
84 5
|
25天前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
23天前
|
关系型数据库 分布式数据库 数据库
PolarDB 开源:推动数据库技术新变革
在数字化时代,数据成为核心资产,数据库的性能和可靠性至关重要。阿里云的PolarDB作为新一代云原生数据库,凭借卓越性能和创新技术脱颖而出。其开源不仅让开发者深入了解内部架构,还促进了数据库生态共建,提升了稳定性与可靠性。PolarDB采用云原生架构,支持快速弹性扩展和高并发访问,具备强大的事务处理能力及数据一致性保证,并且与多种应用无缝兼容。开源PolarDB为国内数据库产业注入新活力,打破国外垄断,推动国产数据库崛起,降低企业成本与风险。未来,PolarDB将在生态建设中持续壮大,助力企业数字化转型。
69 2
|
25天前
|
关系型数据库 MySQL 数据库
DZ社区 mysql日志清理 Discuz! X3.5数据库可以做定期常规清理的表
很多站长在网站日常维护中忽略了比较重要的一个环节,就是对于数据库的清理工作,造成数据库使用量增加必须多的原因一般有2个:后台站点功能开启了家园,此功能现在很少有论坛会用到,但是灌水机会灌入大量垃圾信息致使站长长时间未能发觉;再有就是程序默认的一些通知类表单会存放大量的、对于网站日常运行并无意义的通知信息。
49 2

热门文章

最新文章