35.【学习心得】学习心得-数据一致性

简介: 学习心得】学习心得-数据一致性

文档参考:书名:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》-王伟杰

image.png

前文如下:


23.【学习心得】学习心得-冷热分离概述

24.【学习心得】学习心得-如何分离冷热数据

25.【学习心得】学习心得-基于MySQL的分表分库

26.【学习心得】学习心得-读缓存

27.【学习心得】学习心得-如何更新redis缓存

28.【学习心得】学习心得-写缓存

29.【学习心得】学习心得-写缓存实现思路

30.【学习心得】学习心得-秒杀架构

31.【学习心得】学习心得-全链路日志

32.【学习心得】学习心得-熔断场景

33.【学习心得】学习心得-熔断技术选型

34.【学习心得】学习心得-限流


1.业务场景:下游服务失败后上游服务如何独善其身


使用微服务时,很多时候需要跨多个服务去更新多个数据库的数据,架构如图13-1所示。


网络异常,图片无法展示
|


如图13-1所示,如果业务正常运转,3个服务的数据应该分别变为a2、b2、c2,此时数据才一致。但是如果出现网络抖动、服务超负荷或者数据库超负荷等情况,整个处理链条有可能在步骤2失败,这时数据就会变成a2、b1、c1;当然也有可能在步骤3失败,最终数据就会变成a2、b2、c1。


这样数据就出错了,即数据不一致。在本章所讨论的项目开始之前,因为之前的改造项目时间很紧,所以开发人员完全没有精力处理系统数据一致性的问题,最终业务系统出现了很多错误数据,业务部门发工单告知IT部门数据有问题,经过一番检查后,IT部门发现是因为分布式更新的原因导致了数据不一致。此时,IT部门不得不抽出时间针对数据一致性问题给出一个可靠的解决方案。


通过讨论,IT部门把数据一致性的问题归类为以下两种情况。


1.实时数据不一致可以接受,但要保证数据的最终一致性


因为一些服务出现错误,导致图13-1中的步骤3失败,此时处理完请求后,数据就变成了a2、b2、c1,不过没关系,只需保证最终数据是a2、b2、c2即可。


在以往的一个项目中,业务场景是这样的(示例有所简化):零售下单时,一般需要实现在商品服务中扣除商品的库存、在订单服务中生成一个订单、在交易服务中生成一个交易单这3个步骤。假设交易单生成失败,就会出现库存扣除、订单生成,但交易单没有生成的情况,此时只需保证最终交易单成功生成即可,这就是最终一致性


2.必须保证实时一致性


如果图13-1中的步骤2和步骤3成功了,数据就会变成b2、c2,但是如果步骤3失败,那么步骤1和步骤2会立即回滚,保证数据变回a1、b1。


在以往的一个项目中,业务场景类似这样:用户使用积分兑换折扣券时,需要实现扣除用户积分、生成一张折扣券给用户这两个步骤。如果还是使用最终一致性方案的话,有可能出现用户积分扣除而折扣券还未生成的情况,此时用户进入账户发现积分没有了,也没有折扣券,就会马上投诉。 那怎么办呢?直接将前面的步骤回滚,并告知用户处理失败请继续重试即可,这就是实时一致性。针对以上两种情况,具体解决方案是什么呢?下面一起来看看。


2.最终一致性方案


对于数据要求最终一致性的场景,实现思路是这样的


1)每个步骤完成后,生产一条消息给MQ,告知下一步处理接下来的数据。

2)消费者收到这条消息,将数据处理完成后,与步骤1)一样触发下一步。

3)消费者收到这条消息后,如果数据处理失败,这条消息应该保留,直到消费者下次重试。


将3个服务的整个调用流程走下来,逻辑还是比较复杂的,整体流程如图13-2所示。


详细的实现逻辑如下。


1)调用端调用Service A。

2)Service A将数据库中的a1改为a2。

3)Service A生成一条步骤2(暂且命名为Step2)的消息给MQ。

4)Service A返回成功信息给调用端。

5)Service B监听Step2的消息,获得一条消息。

6)Service B将数据库中的b1改为b2。

7)Service B生成一条步骤3(暂且命名为Step3)的消息给MQ。

8)Service B将Step2的消息设置为已消费。

9)Service C监听Step3的消息,获得一条消息。

10)Service C将数据库中的c1改为c2。

11)Service C将Step3的消息设置为已消费。



接下来要考虑,如果每个步骤失败了该怎么办?


1)调用端调用Service A。

解决方案:直接返回失败信息给用户,用户数据不受影响。

2)Service A将数据库中的a1改为a2。

解决方案:如果这一步失败,就利用本地事务数据直接回滚,用户数据不受影响。

3)Service A生成一条步骤2)(Step2)的消息给MQ。

解决方案:如果这一步失败,就利用本地事务数据将步骤2)直接回滚,用户数据不受影响。

4)Service A返回成功信息给调用端。

解决方案:不用处理。

5)Service B监听Step2的消息,获得一条消息。

解决方案:如果这一步失败,MQ有对应机制,无须担心。

6)Service B将数据库中的b1改为b2。

解决方案:如果这一步失败,则利用本地事务直接将数据回滚,再利用消息重试的特性重新回到步骤5)。

7)Service B生成一条步骤3)(Step3)的消息给MQ。

解决方案:如果这一步失败,MQ有生产消息失败重试机制。若出现极端情况,服务器会直接崩溃,因为Step2的消息还没有消费,MQ会有重试机制,然后找另一个消费者重新从步骤5)执行。

8)Service B将Step2的消息设置为已消费。

解决方案:如果这一步失败,MQ会有重试机制,找另一个消费者重新从步骤5)执行。

9)Service C监听Step3的消息,获得一条消息。 解决方案:参考步骤5)的解决方案。

10)Service C将数据库中的c1改为c2。

解决方案:参考步骤6)的解决方案。

11)Service C将Step3的消息设置为已消费。

解决方案:参考步骤8)的解决方案。


以上就是最终一致性的解决方案,这个方案还有两个问题。


1)因为利用了MQ的重试机制,所以有可能出现步骤6)和步骤10)重复执行的情况,此时该怎么办?比如,上面流程中的步骤8)如果失败了,就会从步骤5)重新执行,这时就会出现步骤6)执行两遍的情况。为此,在下游(步骤6)和步骤10))更新数据时,需要保证业务代码的幂等性

2)如果每个业务流程都需要这样处理,岂不是需要额外写很多代码?那是否可以将类似流程的重复代码抽取出来?答案是可以,这里使用的MQ相关逻辑在其他业务流程中也通用,这个项目最终就是将这些代码抽取出来并进行了封装。


3.实时一致性方案


实时一致性其实就是常说的分布式事务。


MySQL其实有一个两阶段提交的分布式事务方案MySQL XA,但是该方案存在严重的性能问题。比如,一个数据库的事务与多个数据库间的XA事务性能可能相差10倍。另外,XA的事务处理过程会长期占用锁资源,所以项目组一开始就没有考虑这个方案。


而当时比较流行的方案是使用TCC模式,下面简单介绍一下。


4 TCC模式


在TCC模式中,会把原来的一个接口分为Try接口、Confirm接口、Cancel接口。

1)Try接口:用来检查数据、预留业务资源。

2)Confirm接口:用来确认实际业务操作、更新业务资源。

3)Cancel接口:是指释放Try接口中预留的资源。比如在积分兑换折扣券的例子中,需要调用账户服务减积分(步骤1)、营销服务加折扣券(步骤2)这两个服务,那么针对账户服务减积分这个接口,需要写3个方法,代码如下所示。


网络异常,图片无法展示
|


图13-3中,除Cancel步骤以外的步骤,代表成功的调用路径,如果中间出错,则去调用相关服务的回退(Rollback)方法进行手工回退。该方案原来只需要在每个服务中写一段业务代码,而现在需要分成3段来写,而且还涉及一些注意事项。


1)需要保证每个服务的Try方法执行成功后,Confirm方法在业务逻辑上能够执行成功。

2)可能会出现Try方法执行失败而Cancel被触发的情况,此时需要保证正确回滚。

3)可能因为网络拥堵而出现Try方法调用被堵塞的情况,此时事务控制器判断Try失败并触发了Cancel方法,之后Try方法的调用请求到了服务这里,应该拒绝Try请求逻辑。

4)所有的Try、Confirm、Cancel都需要确保幂等性。

5)整个事务期间的数据库数据处于一个临时的状态,其他请求需要访问这些数据时,需要考虑如何正确被其他请求使用,而这种使用包括读取和并发的修改。所以,TCC模式是一个实施起来很麻烦的方案,除了每个业务代码的工作量乘3之外,还需要通过相应逻辑应对上面的注意事项,这样出错的概率就太高了。


5. Seata中AT模式的自动回滚


自动回滚对于使用Seata的人来说操作比较简单,只需要在触发整个事务的业务发起方的方法中加入@GlobalTransactional标注,并且使用普通的@Transactional包装好分布式事务中相关服务的相关方法即可。


对于Seata的内在机制,AT模式的自动回滚往往需要执行以下步骤(分为3个阶段)。


阶段1

1)解析每个服务方法执行的SQL,记录SQL的类型(Update、Insert或Delete),修改表并更新SQL条件等信息。

2)根据前面的条件信息生成查询语句,并记录修改前的数据镜像。

3)执行业务的SQL。

4)记录修改后的数据镜像。

5)插入回滚日志:把前后镜像数据及业务SQL相关的信息组成一条回滚日志记录,插入UNDOLOG表中。

6)提交前,向TC注册分支,并申请相关修改数据行的全局锁。

7)本地事务提交:业务数据的更新与前面步骤生成的UNDOLOG一并提交。

8)将本地事务提交的结果上报给事务控制器。


阶段2


收到事务控制器的分支回滚请求后,开启一个本地事务,执行如下操作。

1)查找相应的UNDOLOG记录。

2)数据校验:将UNDOLOG中的后镜像数据与当前数据进行对比,如果存在不同,说明数据被当前全局事务之外的动作做了修改,此时需要根据配置策略进行处理。

3)根据UNDOLOG中的前镜像数据和业务SQL的相关信息生成回滚语句并执行。

4)提交本地事务,并把本地事务的执行结果(即分支事务回滚的结果)上报事务控制器。


阶段3


1)收到事务控制器的分支提交请求后,将请求放入一个异步任务队列中,并马上返回提交成功的结果给事务控制器。

2)异步任务阶段的分支提交请求将异步、批量地删除相应的UNDOLOG记录。以上就是Seata AT模式的简单介绍。



相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
开发框架 架构师 Java
《深入理解分布式事务:原理与实战》,不可错过的精品!
在分布式应用系统中,特别是在金融相关的场景下,分布式事务是大家都关注的核心技术,同样也是系统的技术难点。本书从数据库和服务的分布式基础开始,由浅入深阐述了分布式事务的原理、解决方案。这种以框架开发者视角分享的分布式事务实现的源码和实践用例,对于应用架构师和开发者都有极大的价值。
4830 1
《深入理解分布式事务:原理与实战》,不可错过的精品!
|
缓存 负载均衡 NoSQL
30.【学习心得】学习心得-秒杀架构
【学习心得】学习心得-秒杀架构
30.【学习心得】学习心得-秒杀架构
|
消息中间件 中间件 应用服务中间件
15.【学习心得】学习心得-传统分布式事务
【学习心得】学习心得-传统分布式事务
15.【学习心得】学习心得-传统分布式事务
|
缓存 监控 供应链
36【学习心得】学习心得-数据同步
【学习心得】学习心得-数据同步
36【学习心得】学习心得-数据同步
|
存储 缓存 架构师
28.【学习心得】学习心得-写缓存
【学习心得】学习心得-写缓存
28.【学习心得】学习心得-写缓存
|
数据库
17.【学习心得】学习心得-柔性事务
【学习心得】学习心得-柔性事务
17.【学习心得】学习心得-柔性事务
|
新零售 缓存 运维
32.【学习心得】学习心得-熔断场景
【学习心得】学习心得-熔断场景
32.【学习心得】学习心得-熔断场景
|
缓存 监控 架构师
33.【学习心得】学习心得-熔断技术选型
【学习心得】学习心得-熔断技术选型
33.【学习心得】学习心得-熔断技术选型
|
缓存 监控 算法
34.【学习心得】学习心得-限流
【学习心得】学习心得-限流
34.【学习心得】学习心得-限流
|
存储 缓存 NoSQL
26.【学习心得】学习心得-读缓存
【学习心得】学习心得-读缓存
26.【学习心得】学习心得-读缓存