PolarDB-X 高可用存储服务: 基于 X-Paxos 一致性协议

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 摘自刘永平(慕少)阿里云 PolarDB-X 技术专家在PolarDB-X | 新品发布会中的讲解内容。

了解更多PolarDB-X 内容:https://developer.aliyun.com/topic/polardbx_release

一、DN 高可用方案
1.png

在 PolarDB-X 的系统结构中,DN 组件负责数据存储。 一个 DN 节点是 一个 MySQL 实例。
为了数据安全,我们需要多副本,一个逻辑实例是由多个 DN 节点组成的集群。
为了业务连续,我们需要高可用,当部分机器或网络故障后集群依然能够持续提供服务。
这些能力都需要 DN 节点自闭环完成,如果再引入第三方组件来管理,那么第三方组件的高可用又将是新的问题。
2.png

单机 MySQL,或者其他数据库,常用的高可用方案有以下几种:
第一种是经典的一主一从结构,基于 KeepAlive 进行 HA 管理;
第二种具有更高的可靠性,可以一主多从,用更复杂的节点管理器协调系统的运行;
另外还有 MySQL 社区的多主复制,有基于共享存储的部署模式等。
以上解决方案都有其各自适合的应用场景,但在设计上,需要考虑的问题是类似地,那就是:
理论上 CAP 中的分区可用性和数据一致性如何取舍?
工程上实现的复杂度、稳定性以及高可用对性能带来的损耗有多少?
3.png

PolarDB-X 的 DN 存储集群采用了强一致方案,集群通过 X-Paxos 一致性协议进行数据复制。其特点是:
1) 在有 2n+1 节点的集群中可容忍最多 N 个节点故障;
2) 节点间数据强一致,对应用而言,RPO=0 内置了一致性协议;
3) 隐藏了复杂的节点管理逻辑。
所以,此方案的核心是一致性协议的使用。
二、X-Paxos 协议
4.png

X-Paxos 是 Paxos 协议的具体实现,基于多数派理论保证数据一致性,其理论基础是经典的 Paxos 论文。
当协议正常运转时,集群中有一个 Leader 节点,其他为 Follower 节点。业务请求从 Leader 进入,Leader 将请求转化为一条增量日志并将日志广播到所有 Follower;等多数节点确认收到日志后,Leader 将日志应用到状态机,返回业务响应。过程中只要多数节点健康,协议就能正常运行,且能够保证集群数据的强一致。另外,在协议模型中还有 learner 角色,它不参与多数派决策,只是集群数据的订阅者。
协议的关键算法有两部分,首先是选主,选主是一个共识的过程,保证集群中同时只有一个 Leader 并且 Leader 已拥有达成多数派的所有日志;其次,日志复制,即上图中的运转过程。
5.png

Paxos 是分布式协议,是消息或事件驱动的异步处理模型。X-Paxos 测试协议组件有四个模块:网络层提供基础的异步网络通讯框架;算法模块实现协议的业务逻辑,包括选主、日志复制、源数据管理等;服务层是调度中心,负责响应定时器和网络事件,驱动算法模块的运转;日志处理本属于算法范畴,但 X-Paxos 实现时将日志处理逻辑抽象出通用接口,在算法模块调用接口,使日志的具体实现可以在日志模块完成,并且可以单独优化。
三、DN 高可用体系
6.png

MySQL 是多引擎架构,事务提交分为两阶段,第一阶段为引擎 Prepare, 第二阶段进入 Binlog Ordered Commit。
Ordered Commit 为分组提交,又分为三个过程:Flush 将 Binlog 内容写到 Binlog 文件,Sync 将 Binlog 文件内容持久化,Commit 是引擎提交。
引入一致性协议后,Leader节点上,在 Binlog 的 Flush 和 Sync 过程中将 Binlog 内容同时广播到所有 Follower。多数派达成后,Leader 再发起最后的引擎 Commit ,以保证数据的强一致。
因为集群中只有 Leader 提供服务,所以 Leader 的状态对系统可用性至关重要。
7.png

Leader 任期内,所有 Follower 都不再发起选主请求,也不投票其他节点的选主请求。但是任期过后,如果 Follower 发现 Leader 已经异常,将重新发起选主;如果 Leader 发现自己和多数 Follower 的通信异常,将自动降级,发起选主请求。
大部分情况下,集群各节点的状态都正常,Leader节点的主动心跳会保持他的 Leader 地位,集群不会发生 HA 。
8.png

默认情况下,集群内所有节点都公平选主。当希望某些节点优先对外提供服务,可以对这些节点赋予更高的选主权重。权重高的节点当选 Leader 的几率大,但这是弱限制,不保证绝对按权重选主。因为选主最基本的原则还是节点需要拥有集群中已经达成共识的所有数据,这是绝对限制。
9.png

DN 集群节点间同步的数据是 Binlog ,当新主被选出后,需要完成两个步骤才能对外提供读写服务:一是将日志同步给其他落后的 Follower 节点,二是将本节点 Binlog 应用到最新位点。如果需要应用的 Binlog 很多, Leader 将迟迟无法对外提供服务,从而影响系统可用性。此时 Leader 会探测其他 Follower 节点,如果发现更合适的,则会将 Leader 角色让出。
10.png

定义集群是否可用,最终还要看当前 Leader 能否够提供业务服务。有时候从协议层面看,集群是健康的,但是 Leader 节点的业务服务异常,比如磁盘满,则此时集群不可用。因此 Follower 节点会定期向 Leader 发起反向心跳,用于检测 Leader 的业务服务是否正常,如果不正常则重新选主。
四、DN部署和优化
11.png

上图为最常用的部署模式,三个节点参与集群决策,一个或多个 Learner 作为订阅者提供只读服务。此处 Logger 不是一种新角色,在协议层面,它就是 Follower ,但它不回放 Binlog ,仅保留 Binlog ,用于整个集群数据的强一致,能够减少一份 MySQL 实例的数据空间,降低存储成本。
12.png

同城 3 副本部署模式实现了三个可用区各一个节点,两个实体节点, 一个Logger 节点,相比传统的主备模式,基本不增加存储成本,但是可以实现数据的强一致。
13.png

跨城 5 副本模式下,有了更多节点后,可以实现单 Region 不可用的容灾,同时配合权重选主可以定制 Region 的切换顺序。

以上就是是关于PolarDB-X 高可用存储服务的整体介绍。

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
相关文章
|
存储 负载均衡 关系型数据库
PolarDB 高可用
PolarDB 高可用
72 0
|
3月前
|
存储 Cloud Native 关系型数据库
PolarDB 高可用架构设计与实践
【8月更文第27天】 在现代互联网应用中,数据库作为核心的数据存储层,其稳定性和可靠性尤为重要。阿里云的 PolarDB 作为一款云原生的关系型数据库服务,提供了高可用、高性能和自动化的特性,适用于各种规模的应用。本文将详细介绍 PolarDB 的高可用架构设计,并探讨其实现数据安全性和业务连续性的关键技术。
94 0
|
3月前
|
存储 SQL 运维
“震撼发布!PolarDB-X:云原生分布式数据库巨擘,超高并发、海量存储、复杂查询,一网打尽!错过等哭!”
【8月更文挑战第7天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
109 1
|
6月前
|
存储 Kubernetes 关系型数据库
使用开源ProxySQL构建PolarDB-X标准版高可用路由服务
本文将指导如何快速搭建和配置PolarDB-X标准版与ProxySQL,并提供验证高可用路由服务验证测试。
|
6月前
|
存储 关系型数据库 分布式数据库
【PolarDB开源】PolarDB高可用架构解析:确保业务连续性的关键设计
【5月更文挑战第22天】阿里云PolarDB是一款高可用、高性能的云原生数据库,采用分布式共享存储架构实现计算与存储分离。通过主从复制保证数据实时同步,当主节点故障时,从节点能快速接管。此外,PolarDB提供自动故障转移和数据备份恢复功能,确保业务连续性和数据安全性。一个简单的Python SDK使用示例展示了查询数据的过程。总之,PolarDB通过多种机制保障了企业在异常情况下的服务稳定和数据完整性。
268 5
|
6月前
|
存储 Cloud Native 关系型数据库
PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
【5月更文挑战第14天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
303 2
|
6月前
|
安全 关系型数据库 分布式数据库
【PolarDB 开源】PolarDB 在金融行业中的实践:高可用与安全合规解决方案
【5月更文挑战第28天】PolarDB,一款适用于金融行业的强大数据库,以其高可用性和安全合规性脱颖而出。通过多副本机制和自动故障转移确保业务连续性,结合严格的访问控制和数据加密技术保护信息安全。在实际应用中,如银行核心系统,PolarDB 负责处理海量交易数据,同时支持主从架构以备故障切换。此外,设置强密码策略和加密存储确保合规性,并通过监控预警及时解决问题。随着金融科技发展,PolarDB 将在云原生架构和人工智能等领域发挥更大作用,助力金融行业创新与进步。
167 0
|
网络协议 Java 关系型数据库
PolarDB-X 私有协议2.0
本文主要介绍私有协议2.0,也即XRPC的背景、总体设计、相关技术实现细节和性能测试结果。
|
6月前
|
关系型数据库 分布式数据库 PolarDB
PolarDB for PostgreSQL下载问题之客户端 X-Paxos下载失败如何解决
PolarDB for PostgreSQL是基于PostgreSQL开发的一款云原生关系型数据库服务,它提供了高性能、高可用性和弹性扩展的特性;本合集将围绕PolarDB(pg)的部署、管理和优化提供指导,以及常见问题的排查和解决办法。
|
关系型数据库 分布式数据库 数据库
体验高可用云原生PolarDB MySQL引擎
本实验主要介绍如何在一台CentOS 7操作系统的ECS实例上,通过SysBench测试工具,体验云原生PolarDB MySQL引擎的高可用特性。