zab协议

简介: paxos的缺点 基于以下这些原因,zookeeper并没有用paxos作为自己实现的协议,取而代之采用了一种称为zab的协议,全称是zookeeper atomic broadcast。 活锁问题 在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了...

paxos的缺点

基于以下这些原因,zookeeper并没有用paxos作为自己实现的协议,取而代之采用了一种称为zab的协议,全称是zookeeper atomic broadcast。

活锁问题

在base-paxos算法中,不存在leader这样的角色,于是存在这样一种情况,即P1提交了一个proposal n1并且通过了prepare阶段;此时P2提交了一个proposal n2(n2>n1)并且也通过了prepare阶段;P1在commit时因为已经通过了n2而被拒绝;于是P1继续提交一个proposal n3并且通过prepare阶段;巧的是此时P2开始commit了,由于n2<n3再次被拒绝……如此循环往复。这种情况被称为活锁。即整个系统都没死,但由于互相请求资源而被互相锁死。为了不发生活锁的情况,最简单的方式当然是缩减proposer到一个,这样就不会发生互相请求锁死的情况,也即退化。事实上很多后来的工业级协议,都是paxos协议的退化或者变种。

复杂度问题

为了解决活锁问题,出现了multi-paxos;

为了解决通信次数较多的问题,出现了fast-paxos;

为了尽量减少冲突,出现了epaxos。

可以看到,工业级实现需要考虑更多的方面,诸如性能,异常等等。这也是许多分布式的一致性框架并非真正基于paxos来实现的原因。

全序问题

对于paxos算法来说,不能保证两次提交最终的顺序,而zookeeper需要做到这点。

zab协议

paxos存在活锁问题,为了解决活锁问题,zab引入了leader,但是单leader就有单点问题,zab采用的方法是leader选举(没有采用主备,因为主备过于固定,不够分布式)。

leader选举就必然出现状态不一致的情况,于是就有需要有同步的过程。

zab协议分为4个阶段,即阶段0为leader选举,(阶段1为发现,阶段2为同步)恢复阶段,阶段3为广播,而实际实现时将发现及同步阶段合并为一个恢复阶段。

leader选举阶段

当集群中没有leader或者其他人感受不到leader时会进入这一阶段,这一阶段的主要目的是选出zxid最大的节点作为准leader。

recovery阶段

主要目的是根据准leader的情况将数据同步到其他节点。同步完成后准leader变为leader。详见奔溃恢复案例。

broadcast阶段

主要目的是leader收到请求,并将请求转为proposal,其他节点根据协议进行批准或通过。

broadcast阶段事实上就是一个两阶段提交的简化版。其所有过程都跟两阶段提交一致,唯一不一致的是不能做事务的回滚。

广播的过程类似于二阶段提交,但是如果实现完整的两阶段提交,那就解决了一致性问题(paxos),没必要发明新协议了,所以zab实际上抛弃了两阶段提交的事务回滚。

一台follower只能回复ACK或者干脆就不回复了,leader只要收到过半的机器回复即通过proposal

但是这样的设计就存在很多问题:

比如如果一个follower因为网络问题从头到尾一直没收到过leader的proposal,后续的询问刚好落到这台follower上该如何处理?

比如leader第一阶段收到了所有follower的ACK后提交,然后通知其他follower提交,这时自己挂了该如何处理?于是诞生了崩溃恢复阶段,旨在对各种不一致情况做出恢复和处理。

崩溃恢复案例

对于选举和恢复阶段。zab算法需要确保两件事。

已经处理过的proposal不能被丢弃

场景:leader发送了proposal,follower1和follower2回复了ACK给leader,leader向所有follower发送commit请求并commit自身,此时leader挂了。leader已经提交,但是follower尚未提交,这会存在不一致的情况。

确保方式:

  1. 重新选举leader时只挑选zxid最大的follower。因为至少半数的follower回复ACK,意味着重新选举时zxid最大的follower应该是当初回复ACK但尚未提交的其中一台。
  2. 该follower即准leader,将自身收到prepare但尚未提交的proposal提交
  3. 在选举阶段准leader已经能拿到其余follower的所有事务集合,于是准leader根据各个follower的事务执行情况,分别建立队列,先发送prepare请求,再发送commit请求,让所有follower都同步到与leader一样的状态。

通过以上方式,能够确保提交过的proposal不会出现丢弃的情况。

已经丢弃的proposal不能被重复处理

场景:leader收到请求,包装为proposal,此时网络挂了或者leader挂了导致其他follower没收到请求,此时进入崩溃恢复阶段,此时其他follower选主并成功之后这个挂了 的leader以follower的身份加入,此时它有一个多余的proposal,与其他节点不一致。

确保方式:

通过zxid的大小直接确定。zxid的编码方式为高32位为epoch(即纪元,可以理解为代),低32位为每个proposal顺序递增的数字。每次变换一个leader,则epoch加一,可以理解为改朝换代了,新朝代的zxid必然比旧朝代的zxid大,新代的leader可以要求将旧朝代的proposal清除。

 

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
Java Spring 容器
【Spring AOP底层实现原理】
【Spring AOP底层实现原理】
421 0
|
网络协议 Linux 网络架构
【网络技术】什么是CIDR
【网络技术】什么是CIDR
1201 0
|
XML 设计模式 安全
【Spring框架四】——Spring AOP 注解实现和xml方式实现1
【Spring框架四】——Spring AOP 注解实现和xml方式实现
262 0
利用ffmpeg命令从摄像机抓拍一张图片
利用ffmpeg命令从摄像机抓拍一张图片
571 1
|
SQL 关系型数据库 MySQL
深入探究MySQL中的NULL
不知道大家有没有遇到这样的问题,当我们在对MySQL数据库进行查询操作时,条件写的是status!=1,理论上会将所有不符合条件的查询出来,但奇怪的是结果为NULL的就查不出来,必须得拼接上条件or status IS NULL。本篇文章我们就一起探究一下MySQL中的NULL。
1060 0
|
缓存 NoSQL 算法
Redis限流接口防刷
Redis限流接口防刷
349 0
|
Java 数据安全/隐私保护
SpringBoot使用jasypt进行配置文件加密
SpringBoot使用jasypt进行配置文件加密
1028 1
|
自然语言处理 算法 搜索推荐
TF-IDF、TextRank关键字抽取排序算法
TF-IDF称为词频逆文本,结果严重依赖文本分词之后的效果。其公式又可以分成词频(Term Frequency,TF)的计算和逆文档概率(IDF)的计算。
418 0
|
存储 算法 Java
详解BigDecimal
1.概述 精度丢失,由于现代计算机中采用了浮点数来表示小数,这种表示法会存在精度丢失的问题。想要了解精度丢失的原因,可以去看博主另一篇文章,里面详细解释了其中的原因: 详解浮点数__BugMan的博客-CSDN博客
755 0
|
存储 Java Spring
从零开始造Spring04---补充之ASM的原理以及在Spring中的应用
ASM 是一个可以操作Java 字节码的框架。可以读取/修改class中的字节码。ASM可以直接产生二进制class文件,也可以在类被加载Java虚拟机之前动态改变类行为,Java class被存储在严格格式定义的.class文件里,这些文件拥有足够的元数据来解析勒种的所有元素:类名称, 方法,属性以及Java字节码(指令)。ASM从类文件中读入信息后,能够改变类行为,分析类信息,甚至能够根据用户要求生成新类。
745 0
从零开始造Spring04---补充之ASM的原理以及在Spring中的应用