《zk:分布式过程协同技术详解》读书笔记2-内部原理篇

简介: 《zk:分布式过程协同技术详解》读书笔记2-内部原理篇

9.1 请求、事务和标识符zxid


  • zk服务器会在本地处理只读请求(如,getData,getChildren,exists).
  • 那些会改变zk状态的客户端请求(create, delete和setData)将会被转发给Leader,由Leader执行响应的请求并形成状态的更新,且每次更新都会形成一个事务。以setData为例,变更节点的数据但是不变更节点的版本号将导致错误发生,因此,zk集群以事务的方式运行,确保所有的变更操作以事务的方式被执行,同时不会被其他事务所干扰。
  • 当Leader产生了一个事务,就会为这个事务分配一个标识符,称之为zk的会话id(zxid),通过zxid对事务进行标识,这样就可以实现按照Leader所指定的顺序在各个服务器中顺序执行。
  • 服务器之间在进行Leader选举的时候也会交换zxid,从而判断哪个无故障的服务器接收了更多的事务,并可以同步服务器之间的状态信息。
  • zxid为一个long(64位)的整数,分为两部分,时间戳epoch和计数器counter部分,每个部分为32位。


9.2 群首Leader选举


  • 先比较zxid(事物ID)再比较sid(myid)


9.3 Zab:状态更新的⼴播协议


  • Zab协议: Zookeeper原子广播协议 Zookeeper Atomic Broadcase protocol
  • 该协议提交一个事务的过程类似于两阶段提交
  1. 群首在接收到写请求后,会向所有的Follower发送一个PROPOSAL(提议)消息P
  2. FOLLOWER接收到消息p后,会响应群首一个ACK消息,通知群首已接收该提案PROPOSAL
  3. 当收到仲裁数量(超过集群数量的一半)的服务器的ACK(包括群首自己)后,群首就会发送消息通知FOLLOWER进行提交COMMIT操作。


image.png

相关文章
|
1天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
13 2
|
1月前
|
存储 Dubbo Java
分布式 RPC 底层原理详解,看这篇就够了!
本文详解分布式RPC的底层原理与系统设计,大厂面试高频,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
分布式 RPC 底层原理详解,看这篇就够了!
|
16天前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
47 4
|
22天前
|
供应链 算法 安全
深度解析区块链技术的分布式共识机制
深度解析区块链技术的分布式共识机制
43 0
|
1月前
|
监控 算法 网络协议
|
2月前
|
人工智能 文字识别 Java
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
尼恩,一位拥有20年架构经验的老架构师,通过其深厚的架构功力,成功指导了一位9年经验的网易工程师转型为大模型架构师,薪资逆涨50%,年薪近80W。尼恩的指导不仅帮助这位工程师在一年内成为大模型架构师,还让他管理起了10人团队,产品成功应用于多家大中型企业。尼恩因此决定编写《LLM大模型学习圣经》系列,帮助更多人掌握大模型架构,实现职业跃迁。该系列包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构》等,旨在系统化、体系化地讲解大模型技术,助力读者实现“offer直提”。此外,尼恩还分享了多个技术圣经,如《NIO圣经》、《Docker圣经》等,帮助读者深入理解核心技术。
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
|
2月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
41 1
|
2月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
53 1
|
2月前
|
存储 缓存 数据处理
深度解析:Hologres分布式存储引擎设计原理及其优化策略
【10月更文挑战第9天】在大数据时代,数据的规模和复杂性不断增加,这对数据库系统提出了更高的要求。传统的单机数据库难以应对海量数据处理的需求,而分布式数据库通过水平扩展提供了更好的解决方案。阿里云推出的Hologres是一个实时交互式分析服务,它结合了OLAP(在线分析处理)与OLTP(在线事务处理)的优势,能够在大规模数据集上提供低延迟的数据查询能力。本文将深入探讨Hologres分布式存储引擎的设计原理,并介绍一些关键的优化策略。
140 0
|
3月前
|
人工智能 Kubernetes Cloud Native
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势