Apache ZooKeeper - 高可用ZK集群模式搭建与运维

简介: Apache ZooKeeper - 高可用ZK集群模式搭建与运维

20201130102620369.png


环境信息


Info1 Detail
OS CentOS7
ZK Version 3.5.8
JDK Version 1.8 + (1.7以上即可)
IP Info 192.168.126.133


其实我就一台Server …



伪集群 … 【其实和在多台部署上是一样一样的,我也木有这么多server~】



JDK

ZK Java编写的,当然少不了JDK了 ~

[root@localhost conf]# java -version
openjdk version "c.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)
[root@localhost conf]# 


总览

集群架构及角色解读


20201130110001188.png




Leader: 处理所有的事务请求(读+写请求),集群中只能有一个Leader


Follower:只能处理读请求,同时参与选举 。 作为 Leader的候选节点,如果Leader宕机,Follower节点要参与到新的Leader选举中,有可能成为新的Leader节点


Observer:只能处理读请求,不参与选举


安装目录


20201130104653773.png

20201130104829931.png

部署十步曲



Step1:配置JAVA环境

Step2:下载并解压zookeeper

Step3:copy zoo_sample.cfg文件zoo1.cfg

Step4:修改配置文件zoo-1.cfg

Step5: 复制三zoo1.cfg ,分别为zoo2.cfg,zoo3.cfg ,zoo4.cfg,修改dataDir和clientPort (如果是同一主机确保在同一主机上不同即可)

Step6: 标识Server ID , 创建四个文件夹,ZKHOME/data/zk1,{ZK_HOME}/data/zk1,{ZK_HOME}/data/zk2,,ZKHOME/data/zk3,{ZK_HOME}/data/zk3,{ZK_HOME}/data/zk4,在每个目录中创建文件myid 文件,写入当前实例的server id,即1,2,3,4

Step7: 启动4个节点 ./bin/zkServer.sh start ./conf/zoo1.cfg ./bin/zkServer.sh start ./conf/zoo2.cfg ./bin/zkServer.sh start ./conf/zoo3.cfg ./bin/zkServer.sh start ./conf/zoo4.cfg

Step8: 检测集群状态 ./bin/zkServer.sh status ./conf/zoo1.cfg ./bin/zkServer.sh status ./conf/zoo2.cfg ./bin/zkServer.sh status ./conf/zoo3.cfg ./bin/zkServer.sh status ./conf/zoo4.cfg

Step9: 客户端连接 ./zkCli.sh -server 192.168.126.133:2181,192.168.126.133:2

[zk: 192.168.126.133:2181,192.168.126.133:2182,192.168.126.133:2183,192.168.126.133:2184(CONNECTED) 0] get /zookeeper/config
server.1=192.168.126.133:2188:3188:participant
server.2=192.168.126.133:2189:3189:participant
server.3=192.168.126.133:2190:3190:participant
server.4=192.168.126.133:2191:3191:observer
version=0
[zk: 192.168.126.133:2181,192.168.126.133:2182,192.168.126.133:2183,192.168.126.133:2184(CONNECTED) 1] 

下面看下细节


配置文件

node1

[root@localhost conf]# cat zoo1.cfg | grep -v "#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zkcluster/zk3.5.8Cluster/data/zk1
clientPort=2181
server.1=192.168.126.133:2188:3188
server.2=192.168.126.133:2189:3189
server.3=192.168.126.133:2190:3190
server.4=192.168.126.133:2191:3191:observer


node2

[root@localhost conf]# cat zoo2.cfg | grep -v "#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zkcluster/zk3.5.8Cluster/data/zk2
clientPort=2182
server.1=192.168.126.133:2188:3188
server.2=192.168.126.133:2189:3189
server.3=192.168.126.133:2190:3190
server.4=192.168.126.133:2191:3191:observer


node3

[root@localhost conf]# cat zoo3.cfg | grep -v "#"
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/zkcluster/zk3.5.8Cluster/data/zk3
clientPort=2183
server.1=192.168.126.133:2188:3188
server.2=192.168.126.133:2189:3189
server.3=192.168.126.133:2190:3190
server.4=192.168.126.133:2191:3191:observer


node4(Observer节点)

node4(Observer节点)
[root@localhost conf]# cat zoo4.cfg | grep -v "#


配置参数解读


tickTime:用于配置Zookeeper中最小时间单位的长度,很多运行时的时间间隔都是使用tickTime的倍数来表示的

initLimit:用于配置Leader服务器等待Follower启动,并完成数据同步的时间。Follower服务器再启动过程中,会与Leader建立连接并完成数据的同步,从而确定自己对外提供服务的起始状态。Leader服务器允许Follower在initLimit 时间内完成这个工作

syncLimit:Leader 与Follower心跳检测的最大延时时间

dataDir:Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里

dataLogDir: Zookeeper服务器存储事务日志的目录,默认为dataDir

clientPort:客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求\

server.A=B:C:D:E

   A 是一个数字,表示这个是第几号服务器,唯一标示
   B 是服务器的 ip 地址
   C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口
   D 选举端口
   E observer标识 


myid 节点唯一标示

4个节点的myid信息如下


2020113014261217.png

启动节点

[root@localhost conf]# pwd
/root/zkcluster/zk3.5.8Cluster/conf
[root@localhost conf]# 
[root@localhost conf]# 
[root@localhost conf]# 
[root@localhost conf]# 
[root@localhost conf]# 
[root@localhost conf]# 
[root@localhost conf]# ../bin/zkServer.sh  start  ./zoo1.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo1.cfg
Starting zookeeper ... STARTED
[root@localhost conf]# ../bin/zkServer.sh  start  ./zoo2.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo2.cfg
Starting zookeeper ... STARTED
[root@localhost conf]# ../bin/zkServer.sh  start  ./zoo3.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo3.cfg
Starting zookeeper ... STARTED
[root@localhost conf]# ../bin/zkServer.sh  start  ./zoo4.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo4.cfg
Starting zookeeper ... STARTED
[root@localhost conf]# 


节点状态查看

[root@localhost conf]# ../bin/zkServer.sh  status  ./zoo1.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo1.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[root@localhost conf]# 
[root@localhost conf]# ../bin/zkServer.sh  status  ./zoo2.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo2.cfg
Client port found: 2182. Client address: localhost.
Mode: leader
[root@localhost conf]# ../bin/zkServer.sh  status  ./zoo3.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo3.cfg
Client port found: 2183. Client address: localhost.
Mode: follower
[root@localhost conf]# ../bin/zkServer.sh  status  ./zoo4.cfg 
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: ./zoo4.cfg
Client port found: 2184. Client address: localhost.
Mode: observer
[root@localhost conf]# 


或者使用客户端连上server 查看

get   /zookeeper/config


20201130142733843.png


完事儿 一切正常 没啦


结

行了就到这儿吧, 你也去搭建一套吧(别像我一样,扣扣搜搜都在一台server上)


相关文章
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群:从理论到实践
【10月更文挑战第24天】随着大数据时代的到来,数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务,因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而,在构建大规模生产环境下的Kafka集群时,保证其高可用性是至关重要的。本文将从个人实践经验出发,详细介绍如何构建一个高可用性的Kafka集群,包括集群规划、节点配置以及故障恢复机制等方面。
671 4
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
457 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
442 5
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
384 2
|
11月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1659 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
792 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
1366 9
Apache Flink:从实时数据分析到实时AI
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
1049 0
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
1405 33
The Past, Present and Future of Apache Flink
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
3716 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架

热门文章

最新文章

推荐镜像

更多