@[toc]

集群操作

集群的命令都在zookeeper的bin目录下

[mq@hadoop102 bin]$ pwd
/opt/module/zookeeper-3.5.7/bin
[mq@hadoop102 bin]$ ll
总用量 56
-rwxr-xr-x. 1 mq mq 232 5月 4 2018 README.txt
-rwxr-xr-x. 1 mq mq 2067 2月 7 2020 zkCleanup.sh
-rwxr-xr-x. 1 mq mq 1158 2月 10 2020 zkCli.cmd
-rwxr-xr-x. 1 mq mq 1621 2月 7 2020 zkCli.sh
-rwxr-xr-x. 1 mq mq 1766 2月 7 2020 zkEnv.cmd
-rwxr-xr-x. 1 mq mq 3690 1月 31 2020 zkEnv.sh
-rwxr-xr-x. 1 mq mq 1286 1月 31 2020 zkServer.cmd
-rwxr-xr-x. 1 mq mq 4573 2月 7 2020 zkServer-initialize.sh
-rwxr-xr-x. 1 mq mq 9386 2月 7 2020 zkServer.sh
-rwxr-xr-x. 1 mq mq 996 10月 3 2019 zkTxnLogToolkit.cmd
-rwxr-xr-x. 1 mq mq 1385 2月 7 2020 zkTxnLogToolkit.sh

所以想要开、关、看集群，不仅要输入命令，还要输入命令的路径：

启动

/opt/module/zookeeper-3.5.7/bin/zkServer.sh start

停止

/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop

查看状态

/opt/module/zookeeper-3.5.7/bin/zkServer.sh status

如果要开多台服务器每次就要输入很多命令，要累死，所以就要编写shell脚本简化操作

[mq@hadoop103 bin]$ vim zk.sh

#!/bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo ------------- zookeeper $i 启动 -------------
        ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
    done
}
;;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo ------------- zookeeper $i 停止 -------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
}
;;
"status"){
    for i in hadoop102 hadoop103 hadoop104
        do
                echo ------------- zookeeper $i 状态 -------------
                ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
}
;;
esac

写完别忘了更改权限

[mq@hadoop103 bin]$ chmod 777 zk.sh

我把它放在了用户的bin目录下

[mq@hadoop103 bin]$ pwd
/home/mq/bin

这样随处都可执行集群命令

启动

zk.sh start

[mq@hadoop102 bin]$ zk.sh start
------------- zookeeper hadoop102 启动 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
------------- zookeeper hadoop103 启动 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
------------- zookeeper hadoop104 启动 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

停止

zk.sh stop

[mq@hadoop102 bin]$ zk.sh stop
------------- zookeeper hadoop102 停止 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
------------- zookeeper hadoop103 停止 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
------------- zookeeper hadoop104 停止 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

查看状态

zk.sh status

[mq@hadoop102 bin]$ zk.sh status
------------- zookeeper hadoop102 状态 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
------------- zookeeper hadoop103 状态 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
------------- zookeeper hadoop104 状态 -------------
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

客户端命令行操作

命令行语法

命令基本语法	功能描述
help	显示所有操作命令
ls	使用 ls 命令来查看当前 znode 的子节点（可监听的节点） -w 监听子节点变化 -s 附加次级信息
create	普通创建 -s 含有序列 -e 临时（重启或者超时消失）
get	获得节点的值（可监听的节点） -w 监听节点内容变化 -s 附加次级信息
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

（1）启动客户端（启动集群的前提下）

[mq@hadoop104 bin]$ /opt/module/zookeeper-3.5.7/bin/zkCli.sh

注意：这个不用 start

（2）显示所有操作命令

[zk: localhost:2181(CONNECTED) 0] help

在这里插入图片描述

znode 节点数据信息

（1）查看当前znode中所包含的内容

[zk: localhost:2181(CONNECTED) 1] ls /
[servers, zookeeper]

（2）查看当前节点详细数据

[zk: localhost:2181(CONNECTED) 2] ls -s /
[servers, zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x70000000b
cversion = 16
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

节点类型（持久/短暂/有序号/无序号）

持久（persistent）：客户端和服务器端断开连接后，创建的节点不删除。默认不写参数是持久的
短暂（ephemeral）：客户端和服务器端断开连接后，创建的节点自动删除
无序列：节点默认没有顺序编号
有序列（sequence）：节点后面跟着顺序编号

节点种类（排列组合那四种）：

持久化目录节点（永久节点 + 不带序号）：

客户端与Zookeeper断开连接后，该节点依旧存在。

持久化顺序编号目录节点（永久节点 + 带序号）：

客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号。

客户端与Zookeeper断开连接后，该节点被删除。

临时顺序编号目录节点（短暂节点 + 带序号）：

客户端与 Zookeeper 断开连接后，该节点被删除，只是 Zookeeper给该节点名称进行顺序编号。

（1）分别创建2个普通节点（永久节点 + 不带序号）

[zk: localhost:2181(CONNECTED) 3] create /sanguo "diaochan"
Created /sanguo
[zk: localhost:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
Created /sanguo/shuguo

注意：创建节点时，要赋值

（2）获得节点的值

[zk: localhost:2181(CONNECTED) 12] get /sanguo
diaochan
[zk: localhost:2181(CONNECTED) 11] get -s /sanguo
diaochan
cZxid = 0xa00000002
ctime = Sun Jul 24 11:34:54 CST 2022
mZxid = 0xa00000002
mtime = Sun Jul 24 11:34:54 CST 2022
pZxid = 0xa00000005
cversion = 3
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1
[zk: localhost:2181(CONNECTED) 13] get -s /sanguo/shuguo
liubei
cZxid = 0xa00000005
ctime = Sun Jul 24 11:37:33 CST 2022
mZxid = 0xa00000005
mtime = Sun Jul 24 11:37:33 CST 2022
pZxid = 0xa00000005
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 6
numChildren = 0

（3）创建带序号的节点（永久节点 + 带序号）

先创建一个普通的根节点/sanguo/weiguo

[zk: localhost:2181(CONNECTED) 14] create /sanguo/weiguo "caocao"
Created /sanguo/weiguo

创建带序号的节点

[zk: localhost:2181(CONNECTED) 15] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/ zhangliao0000000000
[zk: localhost:2181(CONNECTED) 16] create -s /sanguo/weiguo/zhangliao "zhangliao"
Created /sanguo/weiguo/ zhangliao0000000001
[zk: localhost:2181(CONNECTED) 17] create -s /sanguo/weiguo/xuchu "xuchu"
Created /sanguo/weiguo/ xuchu0000000002

序号从 0 开始依次递增

（4）创建短暂节点（短暂节点 + 不带序号 or 带序号）

1.创建短暂的不带序号的节点

[zk: localhost:2181(CONNECTED) 18] create -e /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo

2.创建短暂的带序号的节点

[zk: localhost:2181(CONNECTED) 19] create -e -s /sanguo/wuguo "zhouyu"
Created /sanguo/wuguo0000000004

在当前客户端是能查看到的

[zk: localhost:2181(CONNECTED) 20] ls /sanguo
[shuguo, weiguo, wuguo, wuguo0000000004]

退出当前客户端然后再重启客户端

[zk: localhost:2181(CONNECTED) 21] quit
[mq@hadoop102 ~]$ /opt/module/zookeeper-3.5.7/bin/zkCli.sh

再次查看根目录下短暂节点已经删除

[zk: localhost:2181(CONNECTED) 0] ls /sanguo
[shuguo, weiguo]

（5）修改节点数据值

[zk: localhost:2181(CONNECTED) 3] set /sanguo/weiguo "simayi"

节点删除与状态

（1）删除节点

[zk: localhost:2181(CONNECTED) 9] ls /sanguo/weiguo
[xuchu0000000002, zhangliao0000000000, zhangliao0000000001]

删除 xuchu0000000002：

[zk: localhost:2181(CONNECTED) 13] delete /sanguo/weiguo/xuchu0000000002
[zk: localhost:2181(CONNECTED) 14] ls /sanguo/weiguo
[zhangliao0000000000, zhangliao0000000001]

（2）递归删除节点

如果想删除 /weiguo，不能直接 delete /sanguo/weiguo：

[zk: localhost:2181(CONNECTED) 7] delete /sanguo/weiguo
Node not empty: /sanguo/weiguo

这时候就要递归删除了：

[zk: localhost:2181(CONNECTED) 16] deleteall /sanguo/weiguo
[zk: localhost:2181(CONNECTED) 18] ls /sanguo/weiguo
Node does not exist: /sanguo/weiguo

（3）查看节点状态

[zk: localhost:2181(CONNECTED) 19] stat /sanguo
cZxid = 0xa00000002
ctime = Sun Jul 24 11:34:54 CST 2022
mZxid = 0xa00000002
mtime = Sun Jul 24 11:34:54 CST 2022
pZxid = 0xa00000013
cversion = 9
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 8
numChildren = 1

监听器

一、节点的值变化监听

（1）在 hadoop104 主机上注册监听 /sanguo 节点数据变化

[zk: localhost:2181(CONNECTED) 0] get -w /sanguo
diaochan

（2）在 hadoop103 主机上修改 /sanguo 节点的数据

[zk: localhost:2181(CONNECTED) 2] set /sanguo "xishi"

（3）观察 hadoop104 主机收到数据变化的监听

[zk: localhost:2181(CONNECTED) 1]
WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo

注意：在hadoop103上再次/多次修改 /sanguo 的值，hadoop104上不会再收到监听。因为注册
一次，只能监听一次。想再次监听，需要再次注册。

二、节点的子节点变化监听（路径变化）

（1）在 hadoop104 主机上注册监听 /sanguo 节点的子节点变化

[zk: localhost:2181(CONNECTED) 1] ls -w /sanguo
[shuguo]

（2）在 hadoop103 主机 /sanguo 节点上创建子节点

[zk: localhost:2181(CONNECTED) 3] create /sanguo/jin "simayi"
Created /sanguo/jin

（3）观察 hadoop104 主机收到子节点变化的监听

[zk: localhost:2181(CONNECTED) 2]
WATCHER::

WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。

面试重点

选举机制

当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：

服务器初始化启动 —— 第一次
服务器运行期间无法和 Leader 保持连接 —— 第二次及以后

需要知道的三个概念：

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。每台服务器的编号，类似于身份证。
ZXID：事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

第一次启动（初始化）

服务器刚启动时，第一次选 leader 怎么选。

在这里插入图片描述

（1）服务器1启动，发起一次选举。服务器1投自己一票（每个服务器在启动时，都会先给自己一票）。此时服务器1票数为一票，不够半数以上（3票），选举无法完成，服务器1状态保持为Looking。

（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的myid比自己目前投票推举的（服务器1）大，（服务器判断自己的myid和传过来选票的myid两者谁大），更改选票为推举服务器2（自动把选票投给大的myid）。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持Looking。

（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为Following，服务器3更改状态为Leading。

（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是Looking状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为Following。

（5）服务器5启动，同4一样当小弟（Follower）。

选举Leader规则：投票过半数时，服务器 id 大的胜出

非第一次启动

zookeeper集群正常启动后如果发生了意外，第一次（开服时）选择的 leader 突然挂了，集群中不存在Leader，二次选举甚至n次选举又是如何选择leader的。

在这里插入图片描述

假设ZooKeeper由5台服务器组成，SID（服务器id）分别为1、2、3、4、5，ZXID（事务id）分别为8、8、8、7、7，并且此时SID为3的服务器是Leader。某一时刻，3和5服务器出现故障，因此开始进行Leader选举。

SID为1、2、4的机器投票情况：（1，8，1）（1，8，2）（1，7，4）
（EPOCH，ZXID，SID ）

PS：开启的服务器数量超过集群总服务器数量的一半时，集群就能正常工作

选举Leader规则：

①EPOCH大的直接胜出

②EPOCH相同，事务id（ZXID）大的胜出

③事务id相同，服务器id（SID）大的胜出

总结

半数机制：超过半数的投票通过，即通过。

（1）第一次启动选举规则：

投票过半数时，服务器 id 大的胜出

（2）第二次及以后启动选举规则：

① Epoch 大的直接胜出

② Epoch 相同，事务 id 大的胜出

③ 事务 id 相同，服务器 id 大的胜出

生产集群安装多少 zk 合适？

安装奇数台。

生产经验：

10 台服务器：3 台 zk
20 台服务器：5 台 zk
100 台服务器：11 台 zk
200 台服务器：11 台 zk

服务器台数多
好处：提高可靠性；坏处：增加通信延时

常用命令

ls、get、create、delete

上面具体写了

浅学了波ZooKeeper，我来做个总结

集群操作

启动

停止

查看状态

客户端命令行操作

命令行语法

znode 节点数据信息

节点类型（持久/短暂/有序号/无序号）

节点删除与状态

监听器

面试重点

选举机制

第一次启动（初始化）

非第一次启动

总结

生产集群安装多少 zk 合适？

常用命令

热门文章

最新文章

相关课程

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

浅学了波ZooKeeper，我来做个总结

集群操作

启动

停止

查看状态

客户端命令行操作

命令行语法

znode 节点数据信息

节点类型（持久/短暂/有序号/无序号）

节点删除与状态

监听器

面试重点

选举机制

第一次启动（初始化）

非第一次启动

总结

生产集群安装多少 zk 合适？

常用命令

热门文章

最新文章

相关课程

相关电子书