开发者社区> 肖汉松> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

分布式系统:一致性协议

简介: 一致性模型本质上是进程与数据存储的约定,通过一致性模型我们可以理解和推理在分布式系统中数据复制需要考虑的问题和基本假设。那么,一致性模型的具体实现有一些呢?本文会介绍一致性协议实现的主要思想和方法。 什么是一致性协议 一致性协议描述了特定一致性模型的实际实现。
+关注继续查看

一致性模型本质上是进程与数据存储的约定,通过一致性模型我们可以理解和推理在分布式系统中数据复制需要考虑的问题和基本假设。那么,一致性模型的具体实现有一些呢?本文会介绍一致性协议实现的主要思想和方法。

什么是一致性协议

一致性协议描述了特定一致性模型的实际实现。一致性模型就像是接口,而一致性协议就像是接口的具体实现。一致性模型提供了分布式系统中数据复制时保持一致性的约束,为了实现一致性模型的约束,需要通过一致性协议来保证。

一致性协议根据是否允许数据分歧可以分为两种:

  • 单主协议(不允许数据分歧):整个分布式系统就像一个单体系统,所有写操作都由主节点处理并且同步给其他副本。例如主备同步、2PC、Paxos 都属于这类协议。
  • 多主协议(允许数据分歧):所有写操作可以由不同节点发起,并且同步给其他副本。例如 Gossip、POW。

可以发现,它们的核心区别在于是否允许多个节点发起写操作,单主协议只允许由主节点发起写操作,因此它可以保证操作有序性,一致性更强。而多主协议允许多个节点发起写操作,因此它不能保证操作的有序性,只能做到弱一致性。

值得注意的是,一致性协议的分类方式有很多种,主要是看从哪个角度出发进行归类,常用的另一个归类方式是根据同步/异步复制来划分,这里就不多做讨论了。下面对单主协议和多主协议分别做一些共性的分析,篇幅所限,不会深入到协议细节。

单主协议

单主协议的共同点在于都会用一个主节点来负责写操作,这样能够保证全局写的顺序一致性,它有另一个名字叫定序器,非常的形象。

主备复制

主备复制可以说是最常用的数据复制方法,也是最基础的方法,很多其他协议都是基于它的变种。 主备复制要求所有的写操作都在主节点上进行,然后将操作的日志发送给其他副本。可以发现由于主备复制是有延迟的,所以它实现的是最终一致性。

主备复制的实现方式:主节点处理完写操作之后立即返回结果给客户端,写操作的日志异步同步给其他副本。这样的好处是性能高,客户端不需要等待数据同步,缺点是如果主节点同步数据给副本之前数据缺失了,那么这些数据就永久丢失了。MySQL 的主备同步就是典型的异步复制。

两阶段提交

两阶段提交(2PC)是关系型数据库常用的保持分布式事务一致性的协议,它也属于同步复制协议,即数据都同步完成之后才返回客户端结果。可以发现 2PC 保证所有节点数据一致之后才返回给客户端,实现了顺序一致性。

2PC 把数据复制分为两步:

  1. 表决阶段:主节点将数据发送给所有副本,每个副本都要响应提交或者回滚,如果副本投票提交,那么它会将数据放到暂存区域,等待最终提交。
  2. 提交阶段:主节点收到其他副本的响应,如果副本都认为可以提交,那么就发送确认提交给所有副本让它们提交更新,数据就会从暂存区域移到永久区域。只要有一个副本返回回滚就整体回滚。

可以发现 2PC 是典型的 CA 系统,为了保证一致性和可用性,2PC 一旦出现网络分区或者节点不可用就会被拒绝写操作,把系统变成只读的。由于 2PC 容易出现节点宕机导致一直阻塞的情况,所以在数据复制的场景中不常用,一般多用于分布式事务中(注:实际应用过程中会有很多优化)。

分区容忍的一致性协议

分区容忍的一致性协议跟所有的单主协议一样,它也是只有一个主节点负责写入(提供顺序一致性),但它跟 2PC 的区别在于它只需要保证大多数节点(一般是超过半数)达成一致就可以返回客户端结果,这样可以提高了性能,同时也能容忍网络分区(少数节点分区不会导致整个系统无法运行)。分区容忍的一致性算法保证大多数节点数据一致后才返回客户端,同样实现了顺序一致性。

下面用一个简单的示例来说明这类算法的核心思想。假设现在有一个分布式文件系统,它的文件都被复制到 3 个服务器上,我们规定:要更新一个文件,客户端必须先访问至少 2 个服务器(大多数),得到它们同意之后才能执行更新,同时每个文件都会有版本号标识;要读取文件的时候,客户端也必须要访问至少 2 个服务器获取该文件的版本号,如果所有的版本号一致,那么该版本必定是最新的版本,因为如果前面的更新操作要求必须要有大多数服务器的同意才能更新文件。

以上就是我们熟知的 Paxos、ZAB、Raft 等分区容忍的一致性协议的核心思想:一致性的保证不一定非要所有节点都保持一致,只要大多数节点更新了,对于整个分布式系统来说数据也是一致性的。上面只是一个简单的阐述,真正的算法实现是比较复杂的,这里就不展开了。

分区容忍的一致性协议如 Paxos 是典型的 CP 系统,为了保证一致性和分区容忍,在网络分区的情况下,允许大多数节点的写入,通过大多数节点的一致性实现整个系统的一致性,同时让少数节点停止服务(不能读写),放弃整体系统的可用性,也就是说客户端访问到少数节点时会失败。

值得注意的是,根据 CAP 理论,假设现在有三个节点 A、B、C,当 C 被网络分区时,有查询请求过来,此时 C 因为不能和其他节点通信,所以 C 无法对查询做出响应,也就不具备可用性。但在工程实现上,这个问题是可以被绕过的,当客户端访问 C 无法得到响应时,它可以去访问 A、B,实际上对于整个系统来说还是部分可用性的,并不是说 CP 的系统一定就失去可用性。详细的分析参考分布式系统:CAP 理论的前世今生

多主协议

相比单主协议为了实现顺序一致性,不允许多个节点并发写,多主协议恰恰相反,只保证最终一致性,允许多个节点并发写,能够显著提升系统性能。由于多主协议一般提供的都是最终一致性,所以常用在对数据一致性要求不高的场景中。

Gossip 协议就是一种典型的多主协议,很多分布式系统都使用它来做数据复制,例如比特币,作为一条去中心化的公链,所有节点的数据同步都用的是 Gossip 协议。此外,Gossip 协议也在一些分布式数据库中如 Dynamo 中被用来做分布式故障检测的状态同步,当有节点故障离开集群时,其他节点可以快速检测到。

从名称上就可以看出 Gossip 协议的核心思想,Gossip 是流言八卦的意思,想想我们日常生活人与人之间传八卦的场景,在学校里面一个八卦一旦有一个人知道了,通过人传人,基本上整个学校的人最终都会知道了。因此 Gossip 协议的核心思想就是:每个节点都可以对其他节点发送消息,接收到消息的节点随机选择其他节点发送消息,接收到消息的节点也做同样的事情。

多主协议允许运行多个节点并发写,就一定会出现对一个数据并发写导致数据冲突的情况,因此这类协议都需要解决并发写的问题。单主协议通过主节点控制写入,保证不会出现并发写的情况,因为所有写操作最终都会通过主节点排序,从某种意义上讲,使用单主协议的系统对于写入实际上是串行的,因此其性能是有瓶颈的。而多主协议允许多节点并发写,提搞了写入的性能,但是实际上它是把数据合并的操作延迟了,单主协议在写入的时候就进行了数据合并,因此读取数据的时候如果出现数据冲突的时候,就需要对数据进行合并,保证全局一致性。

前面我们提到比特币使用的是 Gossip 协议做数据复制,那么问题来了,不是说多主协议性能会比较高吗,为什么比特币的性能那么差?这里实际上要分开来看,由于比特币是去中心化的,但是它的支付功能需要保证全局数据一致性,因此它用了一种很巧妙的一致性算法 POW:所有节点都做一道数学题,谁先算出答案谁有权利将交易写到链上,然后利用 Gossip 协议传播它的答案和交易,其他节点验证它的答案正确就将数据保存起来。

到这里你可能会有一个疑问:POW 作为多主协议为什么性能这么低?任何协议都有它适用的场景。在比特币这个场景中,它对于数据一致性是有强需求的,理论上用单主协议是最优的选择。但是比特币作为去中心化的数字货币是不会使用单主协议的,否则又变成中心化的系统了。因此比特币只能选择多主协议,通过 POW 协议将比特币整条链操作进行了近似串行化,这样才能降低出现双花的概率(并发写的时候一个比特币被消费多次),鱼与熊掌不可兼得,既然要强一致性,那么只能牺牲性能来换取。

由于多主协议允许了数据分歧,那么就需要有解决数据冲突的策略来保证最终一致性。如果要严格区分的话,比特币实际上应用了两个一致性协议:

  • POW:决定节点的记账权,起到类似单主协议中定序器的作用。注意 POW 也是多主协议,尽管概率很低,但是它有可能出现多个节点同时算出答案,一起出块(并发写)的情况,此时我们称比特币出现了分叉,即出现了数据冲突。
  • Gossip:用于将出块的交易同步到全球所有节点。由于 POW 会出现并发写的情况,当一个节点同时接受到多个节点写入请求时,就需要解决数据冲突的问题。比特币解决数据冲突的方式就是当出现分叉时,选取最长的那条链作为主链,其他分叉的链上的交易会被回滚,等待重新打包出块。

总结

本文主要从是否允许数据分歧的角度将分布式一致性协议分为两种:单主协议和多主协议。其中单主协议会用一个主节点来负责写操作,这样能够保证全局写的顺序一致性,但因此也牺牲了一部分性能。而多主协议则允许写操作可以由不同节点发起,并且同步给其他副本,只能保证最终一致性,但因此也提升了系统并发写入的性能。对数据一致性要求高的场景例如分布式数据库,主要会使用单主协议,对数据一致性要求不高例如故障检测,主要会使用多主协议来提高性能,当然也有特例,像比特币为了去中心化使用 POW 和 Gossip 结合进行数据复制。

值得注意的是,文中提到的单主、多主协议只是我个人对分布式一致性协议的一种分类方式,帮助我们更好的理解。读者可以看一下参考资料,看一下不同作者对分布式协议是如何分类的,这样对分布式一致性协议会有更深入的理解。

参考资料

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
分布式系列第一弹:分布式一致性!
互联网时代和环境下,为了快速需求响应和提高系统吞吐,往往进行微服务化改造,将复杂系统和数据进行拆分;这时候的一致性指分布式服务化系统之间的弱一致性,包括应用系统一致性和数据一致性;一致性级别说明强一致性 要求系统写入什么,读出来的也会是什么,用户体验好,但实现起来往往对系统的性能影响大弱一致性 系统在写入成功后,不承诺立即可以读到写入的值,也不久承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间别(比如秒级别)后,数据能够达到一致状态最终一致性 最终一致性是弱一致性的一个特例,系统会保证在一定时间内,能够达到一个数据一致的状态。最终一致性是弱一致性中非常推崇的一种一致性包括应用系统一致性
48 0
分布式系统:一致性模型
分布式系统中一个重要的问题就是数据复制,数据复制一般是为了增强系统的可用性或提高性能。而实现数据复制的一个主要难题就是保持各个副本的一致性。本文首先讨论数据复制的场景中一致性模型如此重要的原因,然后讨论一致性模型的含义,最后分析常用的一致性模型。
17764 0
分布式存储系统的一致性是什么?
(本文内容仅代表作者个人观点,不代表OceanBase官方。) 在分布式存储系统(包括OceanBase这样的分布式数据库)的使用中,我们经常会提到“一致性”这个词,但是这个术语1在不同的系统、不同人的心目中有不同的内涵,很容易造成混淆。 想象一个最简单的存储系统,只有一个客户端(单进程)和一个服务端(单进程服务)。客户端顺序发起读写操作,服务端也顺序处理每个请求,那么无论从服务器视角
3198 0
李艳鹏:分布式一致性协议
国际开放标准组织Open Group定义了DTS(分布式事务处理模型),模型中包含4个角色:应用程序、事务管理器、资源管理器、通信资源管理器四部分。事务处理器是统管全局的管理者,资源处理器和通信资源处理器是事务的参与者。
4929 0
测试分布式系统的线性一致性
2017年架构师最重要的48个小时 | 8折倒计时 最近看到一篇文章 ,写得非常好,在征得作者 Anish 同意的情况下,决定将其翻译成中文。但为了更好理解,一些地方并不会逐字翻译,也会稍作调整。 正确实现一个分布式系统是非常有挑战的一件事情,因为需要很好的处理并发和失败这些问题。
1665 0
分布式系统一致性理论和实践
ACID 理论 关系型数据库具有解决复杂事务场景的能力,关系型数据库的事务满足 ACID 的特性。 Atomicity:原子性(要么都做,要么都不做) Consistency:一致性(数据库只有一个状态,不存在未确定状态) Isolation:隔离性(事务之间互不干扰) Durability: 永久性(事务一旦提交,数据库记录永久不变) 具有 ACID 特性的数据库支持数据的强一致性,保证了数据本身不会出现不一致。
1085 0
什么是分布式系统中的幂等性
最近很多人都在谈论幂等性,好吧,这回我也来聊聊这个话题,光看着俩字,一开始的确有点一头雾水,语文不好嘛,词太专业嘛,对吧   现如今我们的系统大多拆分为分布式SOA,或者微服务,一套系统中包含了多个子系统服务,而一个子系统服务往往会去调用另一个服务,而服务调用服务无非就是使用RPC通信或者restful,既然是通信,那么就有可能再服务器处理完毕后返回结果的时候挂掉,这个时候用户端发现很久没有反应,那么就会多次点击按钮,这样请求有多次,那么处理数据的结果是否要统一呢?那是肯定的!尤其再支付场景。
880 0
关于分布式系统的数据一致性问题
现在先抛出问题,假设有一个主数据中心在北京M,然后有成都A,上海B两个地方数据中心,现在的问题是,假设成都上海各自的数据中心有记录变更,需要先同步到主数据中心,主数据中心更新完成之后,在把最新的数据分发到上海,成都的地方数据中心A,地方数据中心更新数据,保持和主数据中心一致性(数据库结构完全一致)。
1217 0
+关注
肖汉松
热爱阅读,喜欢挑战。 热衷尝试新的技术,关注技术背后的原理 关注领域:Java 服务端开发,分布式系统 关注语言:Java, Groovy, Python, JavaScript, Go
15
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载