PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍(中)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PolarDB for PostgreSQL 开源必读手册-开源PolarDB for PostgreSQL架构介绍

接上篇:https://developer.aliyun.com/article/1223114?spm=a2c6h.13148508.setting.27.44ec4f0eNvAByn


PolarDB1.0计算存储分离时,可以通过读写分离将TP事务型查询均匀地打散到不同节点上。但该架构在处理AP型查询时存在一些问题,因为查询只能在计算节点上处理,无法发挥多个计算节点的能力。

 

image.png

 

因此,PolarDB在存储计算分离架构上进一步实现了HTAP架构。如图中所示,在计算层实现了分布式并行计算引擎。任何一个计算节点均支持单机查询引擎,也支持分布式并行计算查询引擎。

 

如上图,最左侧节点可用于处理单机TP型查询,用户可将业务中所有TP查询、点查发送到该节点。同时,分析性查询可利用多个计算节点的特性来完成计算(上图中的只读节点),四个节点基于MPP工作原理。

 

最终,我们实现了一套系统,既可以做单机点查、点写,也可以做多机并行计算引擎处理AP分析。

 

以上架构实现了一体化存储,TP和AP共享一份数据,用户将TP数据写到共享存储,AP做分析时可以实现毫秒级的数据新鲜度。传统的解决方案下,TP库到AP库之间的复制延迟非常长。另外,使用一份存储也减少了存储成本。

 

其次,该架构将TP和AP做了物理隔离,可以将部分节点配置为负责处理TP查询,单机执行;然后将其他节点部署为分布式MPP执行,实现了TP和AP的物理隔离,甚至可以实现不同业务域运行在不同计算节点上,避免AP查询对TP查询的影响。

 

另外,该架构也具备了Serverless弹性扩展能力,任何RO节点均可以发起MPP查询。传统MPP查询中存在一个协调节点,而PolarDB里每个节点均可看到所有数据以及元数据,所有节点本质上是对等的,因此任何节点都可以作为MPP查询的协调节点。

 

同时,实现了SQL级别调整单机执行并行度以及SQL级别调整MPP执行节点范围。这意味着计算能力不足时,可以迅速增加计算节点。因此新增节点可以直接访问共享存储,对计算能力做扩展时,无需对数据做重分布。传统MPP统在新增节点时需要对数据做重分布,过程相当漫长,而PolarDB几乎可以实现秒级生效。另外,如果存储容量不足需要增加机器,也无需再做扩容,因为PolarDB底层为分布式存储,存储池化后容量按需分配,可以认为容量无限大,无需担心存储容量不足的问题。

 

image.png

 

HTAP架构内置了两个优化器,其一为传统内置优化器,用于处理单机查询。其二为GPORCA优化器,用于处理分布式查询。

 

执行器层引入了大量算子。除了单机执行引擎所需要的算子之外,还需要对以上算子做并行化改造,比如支持Shuffle节点、支持对顺序扫描节点的并行化操作。

 

事务层,PolarDB HTAP完整兼容事务,执行MPP时完备兼容事务的可见性级别。

 

PolarDB HTAP实现了SQL全兼容,做了大量工作实现SQL特性。

 

image.png

 

PolarDB除了支持存储计算分离和HTAP架构,还支持三节点高可用架构。该架构为基于X-Paxos做流复制,同时可以将PolarDB部署在本地盘,在可用区内部通过X-Paxos实现了低延迟系统。由于接入了X-Paxos协议,在某个节点宕机时可自动选择leader节点、自动做恢复、自动做集群节点变更。

 

同时,借助DataMax既可以支持日志+存储的部署方式,也支持仅部署日志的方式,实现两地三中心的部署。如图所示,可以将可用区域1中的日志通过异步或同步方式复制到Log Syncer进程,该进程在本地盘只存储了日志,并不存储数据,同时将WAL日志向下游做复制,复制到另一可用区。从而既保证了可用性,又从成本上得到了进一步控制。

 

image.png

 

PolarDB支持存储计算分离架构、HTAP架构以及三节点高可用架构,可以通过不同的配置文件部署成不同的方式,三个架构为正交关系。

 

如上图左侧,可以是云原生和HTAP混合使用的方式,业务可以根据自己的需求将TP和AP流量分别发送到不同的计算节点,且只需一份存储。

 

如上图右侧,可以借助X-Paxos将PolarDB以本地盘的方式进行部署,有一个leader和两个follower,可实现高可用。同时,本地盘的方式也可以支持HTAP的业务负载,比如可以将TP查询发送到leader节点上,同时将AP查询发送到follower上。且多个follower节点和leader节点可以组织成分布式查询,解决了传统TP数据库主备方式做分析时计算能力扩展的问题。

 


接下篇:https://developer.aliyun.com/article/1223111?groupCode=polardbforpg

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
7天前
|
弹性计算 运维 Serverless
卓越效能,极简运维,体验Serverless高可用架构,完成任务可领取转轮日历!
卓越效能,极简运维,体验Serverless高可用架构,完成任务可领取转轮日历!
|
25天前
|
运维 监控 安全
自动化运维的利剑:Ansible在现代IT架构中的应用
在数字化浪潮中,企业对IT系统的敏捷性和可靠性要求日益提高。Ansible,一种简单但强大的自动化运维工具,正成为现代IT架构中不可或缺的一部分。它通过声明式编程语言YAM,简化了系统配置、应用部署和任务自动化的过程,显著提升了运维效率和准确性。本文将深入探讨Ansible的核心特性、应用场景以及如何有效整合进现有IT环境,为读者揭示其在自动化运维中的实用价值和未来发展潜力。
|
1月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
27天前
|
运维 Devops 应用服务中间件
自动化运维的利剑:Ansible在现代IT架构中的应用
【10月更文挑战第42天】本文旨在揭示自动化运维工具Ansible如何革新现代IT架构,通过简化配置管理和部署流程,提升效率和可靠性。我们将探索Ansible的核心功能、语言特性以及其在DevOps文化中的角色。文章还将展示如何借助Ansible构建模块化和可重用的配置代码,实现快速迭代与部署,并确保系统一致性。通过阅读本文,运维人员将了解如何利用Ansible优化日常任务,加速产品上线速度,同时提高系统的稳健性。
34 5
|
2月前
|
人工智能 运维 自然语言处理
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
当整个行业的智慧都集中在一件事情上时,比起闭门造车,开源一定能带来更好的技术迭代和发展。CodeFuse 「编码挑战季」活动火热进行中,诚邀广大开发者们参与编码挑战
125 3
对话蚂蚁开源蒋炜:让 Agent 把运维人员从 24 小时的待命中解放出来
|
28天前
|
存储 运维 关系型数据库
开源新发布|PolarDB-X v2.4.1 增强企业级运维能力
PolarDB-X 是阿里云推出的云原生分布式数据库,自2021年10月开源以来,持续迭代升级,至2024年4月发布的v2.4.1版本,重点增强了企业级运维能力,如无锁变更、物理扩缩容、数据TTL等,提供金融级高可用、透明分布式、HTAP一体化等特性。PolarDB-X 支持集中式和分布式一体化形态,兼容MySQL生态,适用于金融、通信、政务等行业。
|
1月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
83 1
|
1月前
|
编解码 人工智能 开发者
长短大小样样精通!原始分辨率、超长视频输入:更灵活的全开源多模态架构Oryx
【10月更文挑战第23天】Oryx 是一种新型多模态架构,能够灵活处理各种分辨率的图像和视频数据。其核心创新在于能够对图像和视频进行任意分辨率编码,并通过动态压缩器模块提高处理效率。Oryx 在处理长视觉上下文(如视频)时表现出色,同时在图像、视频和3D多模态理解方面也展现了强大能力。该模型的开源性质为多模态研究社区提供了宝贵资源,但同时也面临一些挑战,如选择合适的分辨率和压缩率以及计算资源的需求。
32 3
|
2月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
62 3
|
1月前
|
机器学习/深度学习 运维 监控
智能运维在现代IT架构中的转型之路####
【10月更文挑战第29天】 本文旨在探讨智能运维(AIOps)如何成为现代IT架构不可或缺的一部分,通过分析其核心价值、关键技术及实践案例,揭示AIOps在提升系统稳定性、优化资源配置及加速故障响应中的关键作用。不同于传统运维模式的被动响应,智能运维强调预测性维护与自动化处理,为企业数字化转型提供强有力的技术支撑。 ####
70 0

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB