搭建Zookeeper集群:三台服务器,一场分布式之舞

本文涉及的产品
云防火墙,500元 1000GB
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 搭建Zookeeper集群:三台服务器,一场分布式之舞


前言

在分布式系统的舞台上,Zookeeper是一位不可或缺的重要角色。如何搭建一个稳定、高性能的Zookeeper集群,成为每位系统管理员和开发者的必修课。让我们一同踏上这场集群之旅,揭秘三台服务器背后的Zookeeper配置细节,打造一个分布式一致性的乐园。

前置

设置主机名对应关系

这里因为我的ip总是变化的,也就是固定ip不能满足需求的时候

要设置好ip与主机名的对应关系

这里只要每台主机去ping另外两台主机即可,如果可达就可以使用了比如ping ubtone

要有java环境

执行两个命令java -versionjavac出现以下即可

步骤

当搭建 Apache ZooKeeper 集群时,需要更详细的配置和操作步骤。以下是一个更详细的指南,以便您更好地理解如何配置和操作 ZooKeeper 集群:

1. 下载和解压 ZooKeeper:

# 下载 ZooKeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.10/apache-zookeeper-3.5.10-bin.tar.gz
# 解压
tar -zxf apache-zookeeper-3.5.10-bin.tar.gz

2. 配置 ZooKeeper:

# 进入 ZooKeeper 目录
cd apache-zookeeper-3.5.10-bin
# 复制示例配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg

编辑 conf/zoo.cfg 文件:

vim conf/zoo.cfg

配置文件示例:

# 必填项:ZooKeeper 数据存储目录
dataDir=/path/to/dataDir
# 必填项:ZooKeeper 客户端连接端口
clientPort=2181
# 选填项:ZooKeeper 集群节点信息
server.1=hostname1:2888:3888
server.2=hostname2:2888:3888
server.3=hostname3:2888:3888

每个节点的 dataDir 都应该是唯一的。clientPort 是 ZooKeeper 客户端连接的端口。server.X 是集群中每个节点的配置,其中 X 是节点编号,hostnameX 是该节点的主机名或 IP 地址。

3. 配置集群节点的 myid 文件:

在每个节点上创建一个 myid 文件,其中包含节点的编号,对应于 server.X 中的 X

# 例如,在第一个节点上:
echo "1" > /path/to/dataDir/myid
# 在第二个节点上:
echo "2" > /path/to/dataDir/myid
# 在第三个节点上:
echo "3" > /path/to/dataDir/myid

4. 防火墙和端口设置:

确保防火墙允许 ZooKeeper 使用的端口(默认是 2181)。根据您的防火墙工具,设置相应的规则。

5. 启动 ZooKeeper:

在每个节点上执行以下命令启动 ZooKeeper:

# ZooKeeper 3.6.0 之前版本
bin/zkServer.sh start
# ZooKeeper 3.6.0 及更高版本
bin/zookeeper-server-start.sh -daemon conf/zoo.cfg

6. 验证 ZooKeeper:

连接到 ZooKeeper CLI,检查集群状态:

上方可以看到,有一个leader,两个follower。当你启动一个完第二个服务时候,它就会出现leader和follower

出现的问题解决(全面)

每台主机都不可达,也就是出现类似这种Cannot open channel to 2 at election address ubttwo/192.168.101.104:3888

  1. 首先我们确定防火墙是否关闭了,这个方法很多,比如使用ping,查看主机是否可达,然后使用telnet ip 2181,看端口是否可达,如果第一步没什么问题的话,就应该是第二个问题
  2. 在每一个zoo.cfg配置文件中加入配置
quorumListenOnAllIPs=true

quorumListenOnAllIPs=true 是 ZooKeeper 的配置参数之一,用于指定 ZooKeeper 服务器是否监听所有的 IP 地址。当设置为 true 时,ZooKeeper 将监听服务器上的所有网络接口,而不仅仅是特定的 IP 地址。

具体来说,这个配置项的含义是:

  • quorumListenOnAllIPs=true 时,ZooKeeper 服务器将接受来自任何 IP 地址的连接请求。
  • quorumListenOnAllIPs=false 时,ZooKeeper 服务器将仅接受来自指定 IP 地址的连接请求。

默认情况下,quorumListenOnAllIPs 的值为 true,这意味着 ZooKeeper 服务器会监听所有的 IP 地址。这在一些场景中可能是有用的,特别是在多网卡或多 IP 地址的环境中,以确保 ZooKeeper 能够接受来自所有网络接口的连接。

在配置文件(通常是 zoo.cfg)中,可以按以下方式设置该选项:

quorumListenOnAllIPs=true

或者

quorumListenOnAllIPs=false

具体选择取决于您的网络环境和需求。如果您的 ZooKeeper 服务器部署在一个具有多个网络接口的主机上,可能需要将其设置为 true 以确保能够接受来自所有接口的连接。在其他情况下,可以根据需要设置为 false

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
3月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
3月前
|
运维 数据挖掘 索引
服务器数据恢复—Lustre分布式文件系统服务器数据恢复案例
5台节点服务器,每台节点服务器上有一组RAID5阵列。每组RAID5阵列上有6块硬盘(其中1块硬盘设置为热备盘,其他5块硬盘为数据盘)。上层系统环境为Lustre分布式文件系统。 机房天花板漏水导致这5台节点服务器进水,每台服务器都有至少2块硬盘出现故障。每台服务器中的RAID5阵列短时间内同时掉线2块或以上数量的硬盘,导致RAID崩溃,服务器中数据无法正常读取。
|
4月前
|
存储 运维 NoSQL
分布式读写锁的奥义:上古世代 ZooKeeper 的进击
本文作者将介绍女娲对社区 ZooKeeper 在分布式读写锁实践细节上的思考,希望帮助大家理解分布式读写锁背后的原理。
130 11
|
5月前
|
缓存 NoSQL Ubuntu
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
大数据-39 Redis 高并发分布式缓存 Ubuntu源码编译安装 云服务器 启动并测试 redis-server redis-cli
93 3
|
5月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
93 2
|
5月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
86 1
|
5月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
105 1
|
1月前
|
NoSQL Java 中间件
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
本文介绍了从单机锁到分布式锁的演变,重点探讨了使用Redis实现分布式锁的方法。分布式锁用于控制分布式系统中多个实例对共享资源的同步访问,需满足互斥性、可重入性、锁超时防死锁和锁释放正确防误删等特性。文章通过具体示例展示了如何利用Redis的`setnx`命令实现加锁,并分析了简化版分布式锁存在的问题,如锁超时和误删。为了解决这些问题,文中提出了设置锁过期时间和在解锁前验证持有锁的线程身份的优化方案。最后指出,尽管当前设计已解决部分问题,但仍存在进一步优化的空间,将在后续章节继续探讨。
480 131
【📕分布式锁通关指南 02】基于Redis实现的分布式锁
|
1月前
|
NoSQL Java Redis
Springboot使用Redis实现分布式锁
通过这些步骤和示例,您可以系统地了解如何在Spring Boot中使用Redis实现分布式锁,并在实际项目中应用。希望这些内容对您的学习和工作有所帮助。
176 83
|
5月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?

热门文章

最新文章