深入浅出Zookeeper(一):概览

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
简介: Zookeeper最早是起源于雅虎研究院的一个研究小组。在当时,研究人员发现,在雅虎内部很多软件系统都需要依赖一个系统来协同。但是这样的系统往往都存在单点问题。基于这个背景,雅虎的开发者开发了Zookeeper——一个通用无单点问题的分布式协同服务系统。
版本 日期 备注
1.0 2020.1.29 文章首发
1.1 2020.3.29 修改标题

最近趁着假期看起了Zookeeper,顺手把笔记理上来。

Zookeeper是什么

这个可以通过官网来看https://zookeeper.apache.org/。第一眼看过去,我们就知道它是一个分布式协同系统。并且提供了一些分布式系统中较常用的功能:如配置管理、DNS服务、分布式协同和组成员管理。

为什么会有Zookeeper

Zookeeper最早是起源于雅虎研究院的一个研究小组。在当时,研究人员发现,在雅虎内部很多软件系统都需要依赖一个系统来协同。但是这样的系统往往都存在单点问题。基于这个背景,雅虎的开发者开发了Zookeeper——一个通用无单点问题的分布式协同服务系统。

目前很多的开源分布式系统都用了Zookeeper,比如Hadoop、Kafka、HBase等。

数据模型

Zookeeper使用文件系统模型。主要基于两点考虑:

  1. 文件系统的树形结构便于表达数据之间的层次关系
  2. 文件系统的树形结构便于为不同的应用分配独立的命名空间(namespace)

Zookeeper的这种层次模型称作DataTree。DataTree的每个节点叫作ZNode。不同于文件系统,每个节点都有一个版本,从0开始计数。

虽然整体风格是UNIX的,但是在API操作的部分细节有所不同:

  • ZNode的数据只支持全量写和读,不支持部分读写
  • 所有的API都是Wait-Free——即正在做的API不会影响其他的API

ZNode分类

在Zookeeper中,ZNode大致分为4类:

  • 持久性znode(persistent):集群或client宕机则也不会丢失
  • 临时性znode(ephemeral):client宕机或client在指定timeout时间内没有给zookeeper集群发消息,节点则会消失
  • 持久顺序性znode:除持久性,名字具备顺序性
  • 临时顺序性znode:无持久性,名字具备顺序性

相信有些同学已经想到了,根据现有的4种ZNode,调用者可以很方便的实现配置管理、DNS服务、分布式协同和组成员管理。

原理与实现

由于篇幅原因,在本篇中不会写具体的原理和细节。在这里仅仅抛出问题,在之后的文章中,我会一一解答。

Zookeeper如何存储数据

我们经常会听到 “ZK适用于存储协同相关的关键数据,不适合用于大数量存储” 。那是为什么呢?由此,我们可以引出几个问题:

  • Zookeeper的数据存储是如何实现的?
  • Zookeeper进行一次写操作的时候,会发生什么?
  • Zookeeper进行一次读操作的时候,会发生什么?
  • 相比数据库(以MySQL为例)来说,其读放大、写放大、空间放大的优劣
  • 当一个Zookeeper新加入现有集群时,如何同步现集群中的数据?

Zookeeper的Session机制

在本文中,我们已经知道Zookeeper是一个分布式协同系统。在一个大型的分布式系统中,必然会有大量的Client来连接Zookeeper。那么Zookeeper是如何管理这些Session的生命周期呢?

Zookeeper的Watch机制

用过Zookeeper的同学都知道,Zookeeper提供了对ZNode Watch的API。那么它又是如何实现的呢?当其中一个ZkServer宕机时,Client重新连上时又会发生什么呢?

Zookeeper之ZAB协议

Zookeeper的一致性协议叫ZAB(Zookeeper Atomic Broadcast)。其原理更像一种2PC的变种,那么为什么不使用Paxos、Raft等一致性协议呢?相较前两者,使用ZAB协议带来的好处和坏处又是什么呢?

Zookeeper的角色

在Zookeper中,角色分为:Leader、Follower、Observer。每一个角色是如何响应Client的请求的?如何确认彼此的存活?Leader的选举又是怎么进行的?

目录
相关文章
|
算法 JavaScript 大数据
高德地图 错误码说明 对照表
序号  infocode info返回值 状态描述 问题排查策略 1 10000 OK 请求正常 请求正常 2 10001 INVALID_USER_KEY key不正确或过期 开发者发起请求时,传入的key不正确或者过期  3 10002 SERVICE_NOT_AVAILABLE 没有权限使用相应的服务或者请求接口的路径拼写错误 1.开发者没有权限使用相应的服务,例如:开发者申请了WEB定位功能的key,却使用该key访问逆地理编码功能时,就会返回该错误。反之亦然。2.开发者请求接口的路径拼写错误。例如:正确的https://restapi.amap.com/v3/ip在程序中被拼装写了h
5673 0
|
定位技术
vue2(webpack)调用amap高德地图及其UI组件
vue2(webpack)调用amap高德地图及其UI组件和标记物# 今天一个app项目中要使用vue2加入高德地图,本来以为有第三方的插件,结果没找到适合自己用的,因为地图这块,一般都是自定义程度比较高的。
3818 0
|
6月前
|
自然语言处理 编译器 Python
深入理解Python语法分析(从零开始掌握AST与解析器原理)
教程来源https://www.vpshk.cn/本教程带你深入浅出地学习Python语法分析,了解编译原理入门知识。通过ast模块解析代码结构,掌握抽象语法树(AST)的生成与遍历,轻松理解Python解析器工作原理,适合编程新手快速上手。
|
6月前
|
SQL XML Java
对于 MyBatis Plus 和 MyBatis我们究竟该怎么选择?
MyBatis是轻量级半自动ORM框架,SQL自定义灵活,适合复杂查询;MyBatis Plus在其基础上封装通用CRUD,提升开发效率,支持Lambda与分页插件。两者可混合使用,兼顾效率与灵活性,适用于不同场景。
|
关系型数据库 芯片
ovp过压过流保护芯片,大电流限流,高压,选型大齐全
本文介绍了过压保护(OVP)和过流限流保护(OCP)的基本概念及其应用场景,如蓝牙耳机、充电宝等。文中推荐了几款平芯微的OVP/OCP保护芯片,包括单OVP芯片PW1600、W2609A、PW2605,以及OVP和OCP二合一的PW1605、PW1558A、PW1515等,详细列出了各芯片的主要特点和适用范围。
ovp过压过流保护芯片,大电流限流,高压,选型大齐全
|
消息中间件 存储 缓存
如果对方没做幂等!记一次生产订单重复的反思
公司旧系统中发现一个严重bug:用户支付一年服务费,系统却将有效期增加了两年。经分析,原因是消息队列(MQ)向第三方服务发送了两次消息,且该接口未实现幂等性控制。此问题可能导致财务损失和信誉受损。解决方案包括:生产者端通过请求频率限制、幂等键等防重措施;消费者端利用缓存和数据库确保幂等性;消息队列层配置去重功能、TTL和死信队列等。
238 0
|
弹性计算 缓存 并行计算
带你读《弹性计算技术指导及场景应用》——3. Ada Lovelace架构解读及RTX 4090性能测试分析(1)
带你读《弹性计算技术指导及场景应用》——3. Ada Lovelace架构解读及RTX 4090性能测试分析(1)
1466 4
|
前端开发 网络安全 虚拟化
软考网络规划师复习第四章:认识网络模拟器
软考网络规划师复习第四章:认识网络模拟器
|
数据采集 数据可视化 数据挖掘
时间序列分析:用Python解锁金融市场数据的潜在价值
【4月更文挑战第12天】本文介绍了使用Python进行时间序列分析以挖掘金融市场数据价值的方法。金融市场数据具有时间性、不稳定性、非平稳性和相关性等特点。Python中的Pandas和Statsmodels库是进行时间序列分析的常用工具。基本流程包括数据导入、预处理、探索、模型选择(如ARIMA)、模型评估和优化。通过学习和实践,可以有效利用这些工具分析金融市场数据。
481 1

热门文章

最新文章