OBCP第五章 分布式事务高级技术-分布式两阶段提交

简介: OBCP第五章 分布式事务高级技术-分布式两阶段提交

两阶段协议

2PC是一个非常经典的强一致、中心化的原子提交协议。中心化指的是协调者(Coordinator),强一致性指的是需要所有参与者(participant)均要执行成功才算成功,否则回滚。


第一阶段:协调者(coordinator)发起提议通知所有的参与者(participant),参与者收到提议后,本地尝试执行事务,但并不commit,之后给协调者反馈,反馈可以是yes或者no


第二阶段:协调者收到参与者的反馈后,决定commit或者rollback,参与者全部同意则commit,如果有一个参与者不同意则rollback

OceanBase两阶段提交协议

标准两阶段提交协议

优点:状态简单,只依靠协调者状态即可确认和推进整个事务状态

缺点:协调者写日志,commit延时高

OceanBase两阶段提交协议

协调者不写日志,变成了一个无持久化状态的状态机

事务的状态由参与者的持久化状态决定

所有参与者都prepare成功即认为事务进入提交状态,立即返回客户端commit

每个参与者都需要持久化参与者列表,方便异常恢复时构建协调者状态机,推进事务状态

参与者增加clear阶段,标记事务状态机是否终止



OB两阶段提交

业务不感知是否分布式事务,如果只有一个参与者使用一阶段提交;否则自动使用两阶段提交

参与者的实体是 Partition(Px,Py,Pz)

指定第一个参与者 Px 作为协调者,发送 end_trans 消息给 Px 并告知参与者列表:Px,Py,Pz


OB两阶段提交延迟分析

用户感知的commit延迟

标准:4次日志延迟 + 2次RPC延迟

OB:1次日志延迟 + 2次RPC延迟

分布式事务的高可用

如果事务在prepare状态落盘之前发生宕机,机器恢复后事务会回滚



如果事务处于commit阶段,由于clog已经落盘,即 使发生宕机场景,事务都会执行完成,只是业务端可能会收到事务unknown的回复,需要业务端confirm 事务的状态

                         

两阶段提交过程中参与者宕机

还未进入Prepared状态

参与者所有事务状态丢失

参与者会应答协调者prepare unknown消息

事务最终会abort


已进入Prepared状态

状态已经Paxos同步

系统会自动选择一个副本,作为新的leader并恢复

出prepare状态,协调者继续推进


协调者与第一个参与者是同一个partition

参与者状态机恢复遵从参与者自己的逻辑

协调者状态机恢复由参与者回复协调者的消息触发

参与者发送prepare ok后未收到协调者进一步消息(commit/abort)时,认为

上一条回复消息丢失,会定时重新发送上一条消息

所有参与者都记录全部参与者列表

分布式事务优化

分布式事务底层优化

单分区事务:不走2PC ,直接写一条日志即可完成事务提交

单机多分区事务→ 优化的两阶段提交

多机多分区事务→完整的两阶段提交 →prepare, commit/abor

分布式事务调优方法

业务数据模型设计原则:尽量避免跨机分布式事务

单sql语句不建议跨机器,通过table group、primary_zone把相关的表的leader

放在同一个机器上

慎重选择事务中的第一条语句,因为Obproxy的路由规则

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
4月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
1049 4
|
11月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
5月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
524 4
|
4月前
|
机器学习/深度学习 监控 PyTorch
68_分布式训练技术:DDP与Horovod
随着大型语言模型(LLM)规模的不断扩大,从早期的BERT(数亿参数)到如今的GPT-4(万亿级参数),单卡训练已经成为不可能完成的任务。分布式训练技术应运而生,成为大模型开发的核心基础设施。2025年,分布式训练技术已经发展到相当成熟的阶段,各种优化策略和框架不断涌现,为大模型训练提供了强大的支持。
|
5月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
399 0
|
9月前
|
安全 JavaScript 前端开发
HarmonyOS NEXT~HarmonyOS 语言仓颉:下一代分布式开发语言的技术解析与应用实践
HarmonyOS语言仓颉是华为专为HarmonyOS生态系统设计的新型编程语言,旨在解决分布式环境下的开发挑战。它以“编码创造”为理念,具备分布式原生、高性能与高效率、安全可靠三大核心特性。仓颉语言通过内置分布式能力简化跨设备开发,提供统一的编程模型和开发体验。文章从语言基础、关键特性、开发实践及未来展望四个方面剖析其技术优势,助力开发者掌握这一新兴工具,构建全场景分布式应用。
866 35
|
10月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
6月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
456 2
|
6月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
408 6

热门文章

最新文章