备案控制台
开发者社区 云原生 文章 正文

Zookeeper使用介绍与集群搭建实战

2022-10-27 208
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
日志服务 SLS，月写入数据量 50GB 1个月
云原生网关 MSE Higress，422元/月
简介： Zookeeper使用介绍与集群搭建作者主页：https://www.couragesteak.com/

1 介绍

1.1 什么Zookeeper

Zookeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务式环境中协调和管理服务是一个复杂的过程。Zookeeper通过简单的架构和API解决了这个问题。Zookeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。

1.2 Zookeeper的应用场景

  1. 分布式协调组件

在分布式系统中，需要有zookeeper作为分布式协调组件，协调分布式系统中的状态。

  1. 分布式锁

zk在实现分布式锁上，可以做到强一致性（顺序一致性）。

  1. 无状态化实现

分布式协调组件.png

2 搭建Zookeeper服务器

下载地址：https://zookeeper.apache.org/releases.html

2.1 zoo.fg 配置文件说明

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz
# zookeeper时间配置的基本单位
tickTime=2000

# 允许follower初始化连接到leader最大时长，它表示tickTime时间倍数 即：initLimit*tickTime
initLimit=10

# 允许follower与leader数据同步最大时长，它表示tickTime时间倍数
syncLimit=5

# zookeeper数据存储目录及日志保存（如果没有知名dataLogDir, 则日志也保存在这个文件中）
dataDir=/usr/local/zookeeper/zkdata
#dataLogDir=/usr/local/zookeeper/zkdata
# 对客户端提供的端口号
clientPort=2181

# 单位客户端与zookeeper最大并发连接数(处理更多客户端)
maxClientCnxns=60

# 保存的数据快照数量，之外的将会被清除
autopurge.snapRetainCount=3

# 自动触发清除任务时间间隔，小时为单位。默认为0，表示不自动清除
autopurge.purgeInterval=1

2.2 zookeeper服务器的操作命令

  1. 重命名conf中zoo_sample.cfg 为 zoo.cfg
cp zoo_sample.cfg zoo.cfg
  1. 启动zk服务器
cd /usr/local/zookeeper/apache-zookeeper-3.7.1-bin
bin/zkServer.sh start conf/zoo.cfg
  1. 查看zk服务器状态
bin/zkServer.sh status
  1. 停止服务器
bin/zkServer.sh stop conf/zoo.cfg

Cli连接本地服务器

bin/zkCli.sh

Cli连接指定服务器

bin/zkCli.sh -server 192.168.56.21:2181

3 Zookeeper内部的数据模型

3.1 zk是如何保存数据的

zk中数据是保存在节点上的，节点就是znode，多个znode支架构成一棵树的目录结构。

创建节点

create /test1
create /test1/sub1
ls /
ls /test1

创建节点test2，并放入数据abc

create /test2 abc

获取数据

get /test2

3.2 zk中znode结构

  • data：保存数据

  • acl：权限(定义什么用户能操作此节点，并且进行怎样的操作)

    • c：create创建权限，允许该节点下创建子节点
    • w：write更新权限，允许更新该节点的数据
    • r：read读取权限，允许读取该节点的内容以及子节点的列表信息
    • d：delete删除权限，允许删除该及诶单的子节点
    • a：admin管理者权限，允许对该节点进行alc权限设置
  • stat：描述当前znode的元数据
  • child：当前节点的子节点

3.3 zk中节点znode的类型

  • 持久节点：创建出的节点，在会话结束后依然存在。
create /test5
  • 持久序号节点:创建出的节点，根据先后顺序，会在节点之后带上一个数值，越后执行数值越大，适用于分布式锁的应用场景-单调递增
create -s /test5
  • 临时节点：临时节点是在会话结束后，自动被删除的，通过这个特性，zk可以实现服务注册与发现的效果。
create -e /test5

临时节点维持心跳：

3.4 zk数据的持久化

image.png
zk的数据是运行在内存中，zk提供了2中持久化机制：

  • 事务日志：zk把执行的命令以日志形式保存在dataLogDir指定的路径中的文件中（如果没有指定dataLogDir，则按dataDir指定的路径）、
  • 数据快照：zk会在一定的时间间隔内做一次内存数据的快照，把该时刻的内存数据保存在快照文件中。

zk通过两种的时间间隔内做一次内存数据的快照，把该时刻的内存数据保存在快照文件中。

4 Zookeeper客户端（zkCli）的使用

4.1 多节点类型创建

1、==创建持久节点==

create /test5

2、==创建持久序号节点==（并发很严重时）

create -s /test5

3、创建临时节点

  • 临时节点是在会话结束后，自动被删除的，
create -e /test5
  • 实现了服务注册与发现

4、创建临时序号节点

  • 跟序号节点相同，适用于临时的分布式锁。
create -e -s /test6

5、Container节点（3.5.3版本新增）

  • Container容器节点中没有任何子节点，该容器节点会被zk定期删除（60s）。
# 创建容器节点
create -c /mycontainer

# 创建子节点
create /mycontainer/sub1
create /mycontainer/sub2

# 删除子节点
delete /mycontainer/sub1
delete /mycontainer/sub2

6、TTL节点

  • 可以指定节点的到期时间，到期后被zk定时删除。只能通过系统配置 zookeeper.extendTypesEnabled=true

4.2 查询节点

get -s /test2
  • cZxid：创建节点事务ID
  • mZxid：修改节点的事务ID
  • pZxid：添加和删除子节点的事务ID
  • ctime：节点创建的时间
  • mtime：节点最近修改的时间
  • dataVersion：节点内存数据版本，每更新一次数据，版本会+1
  • aclVersion：此节点权限版本
  • ephemeralOwner：如果当前节点是临时节点，该值是当前节点所有者的的session id。如果及诶单不是临时节点，则该值为0
  • dataLength：节点内数据的长度
  • numChildren：该节点的子节点个数

4.3 删除

delete /test1
deleteall /test1

按照数据版本号删除(乐观锁删除)
delete -v 版本 /节点

delete -v 1 /test2

4.4 权限

  • 注册当前会话的账号和密码
addauth digest charles:123456
  • 创建节点并设置权限
create /test-node abc auth:charles:123456:cdwra
  • 在另一个会话中必须使用账号密码，才能拥有该节点的权限

其他会话读取，权限不足提醒
在这里插入图片描述

5 Curator 客户端的使用

官网：https://curator.apache.org/

Curator是Netflix公司开源的一套zookeeper客户端框架，Curator是对Zookeeper支持最好的客户端框架。Curator封装了大部分Zookeeper的功能，比如Leader选举、分布式锁等，减少了技术人员在使用Zookeeper时的底层细节开发的工作。

5.1 引入Curator

引入依赖

https://www.bilibili.com/video/BV1Ph411n7Ep?p=14

<!-- https://mvnrepository.com/artifact/org.apache.curator/curator-framework -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-framework</artifactId>
    <version>5.2.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.curator/curator-recipes -->
<dependency>
    <groupId>org.apache.curator</groupId>
    <artifactId>curator-recipes</artifactId>
    <version>5.2.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.7.1</version>
</dependency>

8 集群搭建

8.1 伪分布式

1、在/usr/local/zookeeper中创建zk1~zk4，然后 新建 myid 文件

echo 1 > ./zk1/myid
echo 2 > ./zk2/myid
echo 3 > ./zk3/myid
echo 4 > ./zk4/myid

2、编写zoo.cfg文件
伪分布式（4个）

# The number of milliseconds of each tick（zookeeper时间配置的基本单位）
tickTime=2000
# The number of ticks that the initial 
# 允许follower初始化连接到leader最大时长，它表示tickTime时间倍数 即：initLimit*tickTime
initLimit=10
# 允许follower与leader数据同步最大时长，它表示tickTime时间倍数
syncLimit=5
# 修改为对应的zk1、zk2、zk3、zk4
dataDir=/usr/local/zookeeper/zkdata/zk1
# 对客户端提供的端口号
clientPort=2181

# 2001为集群通信端口，3001为集群选举端口，observer表示不参数集群选举
server.1=192.168.56.20:2001:3001
server.2=192.168.56.20:2002:3002
server.3=192.168.56.20:2003:2003
# server.4=192.168.56.23=2004:2004:observer

3、启动3台Zookeeper

./bin/zkServer.sh start ./conf/zoo1.cfg
./bin/zkServer.sh start ./conf/zoo2.cfg
./bin/zkServer.sh start ./conf/zoo3.cfg

8.2 分布式

8.2.1 配置环境

vim /etc/profile
# zk
export ZK_HOME=/usr/local/zk/apache-zookeeper-3.7.1-bin
export PATH=$PATH:$ZK_HOME/bin

发送到其他机器（确保每台机器环境配置一致才可以覆盖）

scp -r /etc/profile root@slave1:/etc/
scp -r /etc/profile root@slave2:/etc/

8.2.2 初始化配置

1、创建数据存放目录

mkdir -p /usr/local/zk/zkdata

2、修改 zoo.cfg

cp $ZK_HOME/conf/zoo_sample.cfg $ZK_HOME/conf/zoo.cfg
vim $ZK_HOME/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=10000

# The number of ticks that the initial 
initLimit=10

# 允许follower与leader数据同步最大时长，它表示tickTime时间倍数
syncLimit=5

# zookeeper数据存储目录及日志保存（如果没有知名dataLogDir, 则日志也保存在这个文件中）
dataDir=/usr/local/zk/zkdata

# 客户端默认端口 2181
clientPort=2181

# 单位客户端与zookeeper最大并发连接数(处理更多客户端)
maxClientCnxns=60

# 自动触发清除任务时间间隔，小时为单位。默认为0，表示不自动清除
autopurge.purgeInterval=1

# 保存的数据快照数量，之外的将会被清除
autopurge.snapRetainCount=3

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

3、将zookeeper目录发送到其他节点

scp -r /usr/local/zk/ root@slave1:/usr/local/
scp -r /usr/local/zk/ root@slave2:/usr/local/

8.2.3 分别修改三台机器 myid

master

echo 1 > /usr/local/zk/zkdata/myid

slave1

echo 2 > /usr/local/zk/zkdata/myid

slave2

echo 3 > /usr/local/zk/zkdata/myid

8.2.4 启动集群

进程标识：QuorumPeerMain

$ZK_HOME/bin/zk.sh start

或

$ZK_HOME/bin/zkServer.sh start $ZK_HOME/conf/zoo.cfg
$ZK_HOME/bin/zkServer.sh stop $ZK_HOME/conf/zoo.cfg

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
jps

工具连接

bin/zkCli.sh

8.2.5 编写操作 zookeeper 集群的脚本

# 保存退出后，修改zk.sh脚本执行权限
chmod +x /usr/local/zk/zk-start.sh

脚本说明：

# 启动集群命令
/usr/local/zk/zk-start.sh start
# 停止集群命令
/usr/local/zk/zk-start.sh stop
# 查看集群状态命令
/usr/local/zk/zk-start.sh status

参考地址：
https://www.bilibili.com/video/BV1Ph411n7Ep
https://blog.csdn.net/u011109589/article/details/124907414

文章标签：
微服务引擎
日志服务
容器
数据安全/隐私保护
API
关键词：
微服务引擎集群
微服务引擎集群搭建
微服务引擎实战
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
有勇气的牛排
目录
相关文章
Sunny_yiyi
|
1月前
|
Java Shell Linux
Zookeeper单机&集群安装
Zookeeper单机&集群安装
Sunny_yiyi
34 1
yuanzhengme
|
1月前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）
yuanzhengme
79 3
JavaPub
|
16天前
|
负载均衡 Dubbo Java
zookeeper实战教程
zookeeper实战教程
JavaPub
22 0
zookeeper实战教程
小竹笋
|
8天前
|
Java 网络安全
分布式系统详解--框架（Zookeeper-简介和集群搭建）
分布式系统详解--框架（Zookeeper-简介和集群搭建）
小竹笋
21 0
yuanzhengme
|
1月前
|
存储 Java 网络安全
ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版（一台服务器实现三个节点的ZooKeeper集群）
【4月更文挑战第10天】ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版（一台服务器实现三个节点的ZooKeeper集群）
yuanzhengme
49 1
yuanzhengme
|
1月前
|
存储 Java 网络安全
ZooKeeper【搭建 02】apache-zookeeper-3.6.0 集群版（准备+安装配置+启动验证）
【4月更文挑战第8天】ZooKeeper【搭建 02】apache-zookeeper-3.6.0 集群版（准备+安装配置+启动验证）
yuanzhengme
30 1
一百减一是零
|
1月前
|
架构师 Shell Apache
Zookeeper集群搭建
Zookeeper集群搭建
一百减一是零
48 0
一只牛博
|
1月前
|
Java 网络安全 Apache
搭建Zookeeper集群：三台服务器，一场分布式之舞
搭建Zookeeper集群：三台服务器，一场分布式之舞
一只牛博
149 0
yuanzhengme
|
1月前
|
消息中间件 存储 Kafka
Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群（一台服务器实现三个节点的 Kafka 集群）
【2月更文挑战第19天】Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群（一台服务器实现三个节点的 Kafka 集群）
yuanzhengme
158 1
风水道人
|
1月前
|
算法 Java Linux
zookeeper单机伪集群集群部署
zookeeper单机伪集群集群部署
风水道人
98 0

热门文章

最新文章

  • 1
    深入理解ZooKeeper：分布式协调服务的核心与实践
  • 2
    ZooKeeper数据模型你懂吗？
  • 3
    Dubbo的Zookeeper单机配置和Zookeeper集群配置
  • 4
    阿里云微服务引擎 MSE 2023 年 9 月产品动态
  • 5
    zookeeper图文安装
  • 6
    zookeeper 分布式锁
  • 7
    ZooKeeper开发手册中文翻译
  • 8
    玩转zookeeper命令
  • 9
    ZooKeeper Watch Java API浅析getData
  • 10
    ZooKeeper核心原理及应用场景
  • 1
    深入理解ZooKeeper：分布式协调服务的核心与实践
    71
  • 2
    ZooKeeper数据模型你懂吗？
    60
  • 3
    【中间件】zookeeper的实现原理
    34
  • 4
    R语言参数自抽样法Bootstrap：估计MSE、经验功效、杰克刀Jackknife、非参数自抽样法可视化自测题
    23
  • 5
    Zookeeper笔记
    45
  • 6
    Kafka【部署 03】Zookeeper与Kafka自动部署脚本
    38
  • 7
    ZooKeeper【基础知识 04】控制权限ACL（原生的 Shell 命令）
    37
  • 8
    ZooKeeper【基础 03】Java 客户端 Apache Curator 基础 API 使用举例（含源代码）
    44
  • 9
    ZooKeeper的安装（Linux版）
    75
  • 10
    ZooKeeper【基础 02】zookeeper-3.6.0 常用Shell命令（节点增删改查+监听器+四字指令）
    34

    • 相关课程

    更多
  • 基于MSE的大促场景流量入口防护最佳实践
  • Dubbo + ZooKeeper 的服务发现最佳实践
  • MSE微服务测试最佳实践 - 自动化回归
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 大数据ZooKeeper快速入门
  • 分布式协调系统 Zookeeper 快速入门

    • 相关电子书

    更多
  • 《MSE 微服务网关》
  • 微服务引擎 MSE 治理中心重磅发布
  • 阿里云微服务引擎 MSE 2.0 线上发布

    • 相关实验场景

    更多
  • 基于MSE实现微服务的全链路灰度
  • 基于MSE实现K8s集群内多服务的灰度发布
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）