一脸懵逼学习Zookeeper(动物园管理员)---》高度可靠的分布式协调服务

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:  1:Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务   A、zookeeper是为别的分布式程序服务的   B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,Zookeeper就能正常服务)   C、Zookeeper所提供的服务涵盖:...

 1:Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务

  A、zookeeper是为别的分布式程序服务的

  B、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,Zookeeper就能正常服务)

  C、Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……

  D、虽然说可以提供各种服务,但是zookeeper在底层其实只提供了两个功能:

    管理(存储,读取)用户程序提交的数据;

    并为用户程序提供数据节点监听服务;

3:Zookeeper集群的角色:  Leader 和  follower  (Observer)

  只要集群中有半数以上节点存活,集群就能提供服务

4:Zookeeper集群机制
  半数机制:集群中半数以上机器存活,集群可用。
  zookeeper适合装在奇数台机器上!!!

1:Zookeeper (动物园管理员,提供少量数据的存储和管理,提供对数据节点的监听器)是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等;
官方网址:http://zookeeper.apache.org/

 2:为什么使用Zookeeper?

  (1)大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等);
  (2)目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制;
  (3)协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器;
  (4)ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用;
3:Zookeeper能帮我们做什么?

  (1)Hadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等;
  (2)HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等;
4:Zookeeper的特性:

  (1)Zookeeper是简单的;
  (2)Zookeeper是富有表现力的;
  (3)Zookeeper具有高可用性;
  (4)Zookeeper采用松耦合交互方式;
  (5)Zookeeper是一个资源库;

 

a、Zookeeper:一个leader,多个follower组成的集群

 

b、全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的

 

c、分布式读写,更新请求转发,由leader实施

 

d、更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行

 

e、数据更新原子性,一次数据更新要么成功,要么失败

 

f、实时性,在一定时间范围内,client能读到最新数据

 

5:Zookeeper的安装和配置(单机模式):

  (1)下载ZooKeeper:http://labs.renren.com/apache-mirror/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz;
  (2)解压:tar xzf zookeeper-3.4.3.tar.gz;
  (3)在conf目录下创建一个配置文件zoo.cfg:

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=/Users/zdandljb/zookeeper/dataLog        
clientPort=2181

  (4)启动ZooKeeper的Server:sh bin/zkServer.sh start, 如果想要关闭,输入:zkServer.sh stop
6:Zookeeper的安装和配置(集群模式):

  (1)创建myid文件,server1机器的内容为:1,server2机器的内容为:2,server3机器的内容为:3
  (2)在conf目录下创建一个配置文件zoo.cfg:

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=/Users/zdandljb/zookeeper/dataLog         
clientPort=2181 initLimit=5
syncLimit=2
server.1=server1:2888:3888
server.2=server2:2888:3888
server.3=server3:2888:3888

 7:Zookeeper的安装和配置(伪集群模式):

  (1)建了3个文件夹,server1 server2 server3,然后每个文件夹里面解压一个zookeeper的下载包;
  (2)进入data目录,创建一个myid的文件,里面写入一个数字,server1,就写一个1,server2对应myid文件就写入2,server3对应myid文件就写个3;
  (3)在conf目录下创建一个配置文件zoo.cfg:

tickTime=2000
dataDir=/Users/zdandljb/zookeeper/data
dataLogDir=xxx/zookeeper/server1/          
clientPort=2181
initLimit=5
syncLimit=2
server.1=server1:2888:3888
server.2=server2:2888:3888
server.3=server3:2888:3888

 8:Zookeeper的数据模型:

  (1)层次化的目录结构,命名符合常规文件系统规范
  (2)每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
  (3)节点Znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点
  (4)Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本
  (5)客户端应用可以在节点上设置监视器
  (6)节点不支持部分读写,而是一次性完整读写

 9:Zookeeper的节点:
  (1)Znode有两种类型,短暂的(ephemeral)和持久的(persistent)
  (2)Znode的类型在创建时确定并且之后不能再修改
  (3)短暂znode的客户端会话结束时,zookeeper会将该短暂znode删除,短暂znode不可以有子节点
  (4)持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除
  (5)Znode有四种形式的目录节点,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL

10:Zookeeper的角色:
  (1)领导者(leader),负责进行投票的发起和决议,更新系统状态
  (2)学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票
  (3)Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度
  (4)客户端(client),请求发起方
11:Zookeeper的顺序号:
  (1)创建znode时设置顺序标识,znode名称后会附加一个值
  (2)顺序号是一个单调递增的计数器,由父节点维护
  (3)在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序
12:Zookeeper的读写机制:
  (1)Zookeeper是一个由多个server组成的集群
  (2)一个leader,多个follower
  (3)每个server保存一份数据副本
  (4)全局数据一致
  (5)分布式读写
  (6)更新请求转发,由leader实施
13:Zookeeper的保证:
  (1)更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行
  (2)数据更新原子性,一次数据更新要么成功,要么失败
  (3)全局唯一数据视图,client无论连接到哪个server,数据视图都是一致的
  (4)实时性,在一定事件范围内,client能读到最新数据
14:Zookeeper的API接口:
  (1)String create(String path, byte[] data, List<ACL> acl, CreateMode createMode)
  (2)Stat exists(String path, boolean watch)
  (3)void delete(String path, int version)
  (4)List<String> getChildren(String path, boolean watch)
  (5)List<String> getChildren(String path, boolean watch)
  (6)Stat setData(String path, byte[] data, int version)
  (7)byte[] getData(String path, boolean watch, Stat stat)
  (8)void addAuthInfo(String scheme, byte[] auth)
  (9)Stat setACL(String path, List<ACL> acl, int version)
  (10)List<ACL> getACL(String path, Stat stat)

15:Zookeeper应用场景1-统一命名服务:
  (1)分布式应用中,通常需要有一套完整的命名规则,既能够产生唯一的名称又便于人识别和记住,通常情况下用树形的名称结构是一个理想的选择,树形的名称结构是一个有层次的目录结构,既对人友好又不会重复。
  (2)Name Service 是 Zookeeper 内置的功能,只要调用 Zookeeper 的 API 就能实现。

16:Zookeeper应用场景2-配置管理:
  (1)配置的管理在分布式应用环境中很常见,例如同一个应用系统需要多台 PC Server 运行,但是它们运行的应用系统的某些配置项是相同的,如果要修改这些相同的配置项,那么就必须同时修改每台运行这个应用系统的 PC Server,这样非常麻烦而且容易出错。
  (2)将配置信息保存在 Zookeeper 的某个目录节点中,然后将所有需要修改的应用机器监控配置信息的状态,一旦配置信息发生变化,每台应用机器就会收到 Zookeeper 的通知,然后从 Zookeeper 获取新的配置信息应用到系统中。

17:应用场景3-集群管理:
  (1)Zookeeper 能够很容易的实现集群管理的功能,如有多台 Server 组成一个服务集群,那么必须要一个“总管”知道当前集群中每台机器的服务状态,一旦有机器不能提供服务,集群中其它集群必须知道,从而做出调整重新分配服务策略。同样当增加集群的服务能力时,就会增加一台或多台 Server,同样也必须让“总管”知道。

  (2)Zookeeper 不仅能够维护当前的集群中机器的服务状态,而且能够选出一个“总管”,让这个总管来管理集群,这就是 Zookeeper 的另一个功能 Leader Election。
  (3)规定编号最小的为master,所以当我们对SERVERS节点做监控的时候,得到服务器列表,只要所有集群机器逻辑认为最小编号节点为master,那么master就被选出,而这个master宕机的时候,相应的znode会消失,然后新的服务器列表就被推送到客户端,然后每个节点逻辑认为最小编号节点为master,这样就做到动态master选举。

18:Zookeeper应用场景4-共享锁:
  (1)共享锁在同一个进程中很容易实现,但是在跨进程或者在不同 Server 之间就不好实现了。Zookeeper 却很容易实现这个功能,实现方式也是需要获得锁的 Server 创建一个 EPHEMERAL_SEQUENTIAL 目录节点,然后调用 getChildren方法获取当前的目录节点列表中最小的目录节点是不是就是自己创建的目录节点,如果正是自己创建的,那么它就获得了这个锁,如果不是那么它就调用 exists(String path, boolean watch) 方法并监控 Zookeeper 上目录节点列表的变化,一直到自己创建的节点是列表中最小编号的目录节点,从而获得锁,释放锁很简单,只要删除前面它自己所创建的目录节点就行了。

19:Zookeeper应用场景5-队列管理:

  (1)Zookeeper 可以处理两种类型的队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达,这种是同步队列;队列按照 FIFO 方式进行入队和出队操作,例如实现生产者和消费者模型
  (2)创建一个父目录 /synchronizing,每个成员都监控目录 /synchronizing/start 是否存在,然后每个成员都加入这个队列(创建 /synchronizing/member_i 的临时目录节点),然后每个成员获取 / synchronizing 目录的所有目录节点,判断 i 的值是否已经是成员的个数,如果小于成员个数等待 /synchronizing/start 的出现,如果已经相等就创建 /synchronizing/start。

20:Zookeeper总结:

  (1)Zookeeper 作为 Hadoop 项目中的一个子项目,是 Hadoop 集群管理的一个必不可少的模块,它主要用来控制集群中的数据,如它管理 Hadoop 集群中的 NameNode,还有 Hbase 中 Master Election、Server 之间状态同步等。
  (2)Zoopkeeper 提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型

21:Zookeeper的数据结构:

 1、层次化的目录结构,命名符合常规文件系统规范(见下图);

2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识;

3、节点Znode可以包含数据和子节点(但是EPHEMERAL类型的节点不能有子节点,下一页详细讲解);

4、客户端应用可以在节点上设置监视器;

   Zookeeper的数据结构示意图:

 

 22:Zookeeper的节点类型:

1、Znode有两种类型:

短暂(ephemeral)(断开连接自己删除)

持久(persistent)(断开连接不删除)

2、Znode有四种形式的目录节点(默认是persistent )

PERSISTENT

PERSISTENT_SEQUENTIAL(持久序列/test0000000019 )

EPHEMERAL

EPHEMERAL_SEQUENTIAL

3、创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护

4、在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

待续......

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
2月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
89 3
|
5天前
|
消息中间件 存储 安全
分布式系统架构3:服务容错
分布式系统因其复杂性,故障几乎是必然的。那么如何让系统在不可避免的故障中依然保持稳定?本文详细介绍了分布式架构中7种核心的服务容错策略,包括故障转移、快速失败、安全失败等,以及它们在实际业务场景中的应用。无论是支付场景的快速失败,还是日志采集的安全失败,每种策略都有自己的适用领域和优缺点。此外,文章还为技术面试提供了解题思路,助你在关键时刻脱颖而出。掌握这些策略,不仅能提升系统健壮性,还能让你的技术栈更上一层楼!快来深入学习,走向架构师之路吧!
37 11
|
25天前
|
存储 运维 NoSQL
分布式读写锁的奥义:上古世代 ZooKeeper 的进击
本文作者将介绍女娲对社区 ZooKeeper 在分布式读写锁实践细节上的思考,希望帮助大家理解分布式读写锁背后的原理。
|
2月前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
96 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
2月前
|
监控 Dubbo Java
dubbo学习三:springboot整合dubbo+zookeeper,并使用dubbo管理界面监控服务是否注册到zookeeper上。
这篇文章详细介绍了如何将Spring Boot与Dubbo和Zookeeper整合,并通过Dubbo管理界面监控服务注册情况。
157 0
dubbo学习三:springboot整合dubbo+zookeeper,并使用dubbo管理界面监控服务是否注册到zookeeper上。
|
2月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
56 2
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
53 1
|
2月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
20天前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
53 5
|
23天前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
45 8