OBCP第五章 分布式事务高级技术-分布式两阶段提交

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: OBCP第五章 分布式事务高级技术-分布式两阶段提交

两阶段协议

2PC是一个非常经典的强一致、中心化的原子提交协议。中心化指的是协调者(Coordinator),强一致性指的是需要所有参与者(participant)均要执行成功才算成功,否则回滚。


第一阶段:协调者(coordinator)发起提议通知所有的参与者(participant),参与者收到提议后,本地尝试执行事务,但并不commit,之后给协调者反馈,反馈可以是yes或者no


第二阶段:协调者收到参与者的反馈后,决定commit或者rollback,参与者全部同意则commit,如果有一个参与者不同意则rollback

OceanBase两阶段提交协议

标准两阶段提交协议

优点:状态简单,只依靠协调者状态即可确认和推进整个事务状态

缺点:协调者写日志,commit延时高

OceanBase两阶段提交协议

协调者不写日志,变成了一个无持久化状态的状态机

事务的状态由参与者的持久化状态决定

所有参与者都prepare成功即认为事务进入提交状态,立即返回客户端commit

每个参与者都需要持久化参与者列表,方便异常恢复时构建协调者状态机,推进事务状态

参与者增加clear阶段,标记事务状态机是否终止



OB两阶段提交

业务不感知是否分布式事务,如果只有一个参与者使用一阶段提交;否则自动使用两阶段提交

参与者的实体是 Partition(Px,Py,Pz)

指定第一个参与者 Px 作为协调者,发送 end_trans 消息给 Px 并告知参与者列表:Px,Py,Pz


OB两阶段提交延迟分析

用户感知的commit延迟

标准:4次日志延迟 + 2次RPC延迟

OB:1次日志延迟 + 2次RPC延迟

分布式事务的高可用

如果事务在prepare状态落盘之前发生宕机,机器恢复后事务会回滚



如果事务处于commit阶段,由于clog已经落盘,即 使发生宕机场景,事务都会执行完成,只是业务端可能会收到事务unknown的回复,需要业务端confirm 事务的状态

                         

两阶段提交过程中参与者宕机

还未进入Prepared状态

参与者所有事务状态丢失

参与者会应答协调者prepare unknown消息

事务最终会abort


已进入Prepared状态

状态已经Paxos同步

系统会自动选择一个副本,作为新的leader并恢复

出prepare状态,协调者继续推进


协调者与第一个参与者是同一个partition

参与者状态机恢复遵从参与者自己的逻辑

协调者状态机恢复由参与者回复协调者的消息触发

参与者发送prepare ok后未收到协调者进一步消息(commit/abort)时,认为

上一条回复消息丢失,会定时重新发送上一条消息

所有参与者都记录全部参与者列表

分布式事务优化

分布式事务底层优化

单分区事务:不走2PC ,直接写一条日志即可完成事务提交

单机多分区事务→ 优化的两阶段提交

多机多分区事务→完整的两阶段提交 →prepare, commit/abor

分布式事务调优方法

业务数据模型设计原则:尽量避免跨机分布式事务

单sql语句不建议跨机器,通过table group、primary_zone把相关的表的leader

放在同一个机器上

慎重选择事务中的第一条语句,因为Obproxy的路由规则

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
23天前
|
消息中间件 算法 调度
分布式系统学习10:分布式事务
本文是小卷关于分布式系统架构学习系列的第13篇,重点探讨了分布式事务的相关知识。随着业务增长,单体架构拆分为微服务后,传统的本地事务无法满足需求,因此需要引入分布式事务来保证数据一致性。文中详细介绍了分布式事务的必要性、实现方案及其优缺点,包括刚性事务(如2PC、3PC)和柔性事务(如TCC、Saga、本地消息表、MQ事务、最大努力通知)。同时,还介绍了Seata框架作为开源的分布式事务解决方案,提供了多种事务模式,简化了分布式事务的实现。
60 5
|
2月前
|
存储 缓存 负载均衡
从零到一:分布式缓存技术初探
分布式缓存通过将数据存储在多个节点上,利用负载均衡算法提高访问速度、降低数据库负载并增强系统可用性。常见产品有Redis、Memcached等。其优势包括性能扩展、高可用性、负载均衡和容错性,适用于页面缓存、应用对象缓存、状态缓存、并行处理、事件处理及极限事务处理等多种场景。
182 1
|
2月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
115 2
|
2月前
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
3月前
|
供应链 算法 安全
深度解析区块链技术的分布式共识机制
深度解析区块链技术的分布式共识机制
96 0
|
3月前
|
监控
Saga模式在分布式系统中保证事务的隔离性
Saga模式在分布式系统中保证事务的隔离性
|
3月前
|
监控 算法 网络协议
|
4月前
|
SQL 关系型数据库 MySQL
乐观锁在分布式数据库中如何与事务隔离级别结合使用
乐观锁在分布式数据库中如何与事务隔离级别结合使用
|
4月前
|
人工智能 文字识别 Java
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
尼恩,一位拥有20年架构经验的老架构师,通过其深厚的架构功力,成功指导了一位9年经验的网易工程师转型为大模型架构师,薪资逆涨50%,年薪近80W。尼恩的指导不仅帮助这位工程师在一年内成为大模型架构师,还让他管理起了10人团队,产品成功应用于多家大中型企业。尼恩因此决定编写《LLM大模型学习圣经》系列,帮助更多人掌握大模型架构,实现职业跃迁。该系列包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构》等,旨在系统化、体系化地讲解大模型技术,助力读者实现“offer直提”。此外,尼恩还分享了多个技术圣经,如《NIO圣经》、《Docker圣经》等,帮助读者深入理解核心技术。
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
|
4月前
|
消息中间件 存储 算法
分布式系列第二弹:分布式事务!
分布式系列第二弹:分布式事务!