D003 复制粘贴玩大数据之安装与配置Zookeeper集群

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: Zookeeper的获取; 上传安装包到集群; 安装Zookeeper集群; Zookeeper集群校验

0x01 Zookeeper的获取


1. 官网下载

a. 为了统一,此处下载zk3.4.10版本 :https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/


0x02 上传安装包到集群

1. 上传安装包到虚拟机


20190125185156159.png

PS:如果不是docker部署的集群,则直接上传到虚拟机即可,因为,每台虚拟机就是一个节点。

2. 复制安装包到master节点

docker cp zookeeper-3.4.10.tar.gz hadoop-master:/root

sh master.sh

ll


20190125185254375.png


0x03 安装Zookeeper集群


1. 在master上安装单机版zk

a. 解压安装包(-C为指定解压到/usr/local路径)

tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local


20190125191042473.png


b. 创建Zookeeper对应的路径:


20190125191213962.png


mkdir /usr/local/zookeeper-3.4.10/datadir

mkdir /usr/local/zookeeper-3.4.10/log


20190125191519806.png


c. 修改Zookeeper的配置文件($ZK_HOME/conf):

cd /usr/local/zookeeper-3.4.10/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg


20190125191448875.png


  • 修改dataDir,加上dataLogDir:

dataDir=/usr/local/zookeeper-3.4.10/datadir

dataLogDir=/usr/local/zookeeper-3.4.10/log


20190125191709476.png


  • 配置环境变量(可看到docker生成节点时默认配好的其他环境变量)

vi /etc/profile


export ZK_HOME=/usr/local/zookeeper-3.4.10
export PATH=$PATH:$ZK_HOME/bin


20190125191816707.png


  • 使配置生效(echo一下有内容输入,说明已经配好)

source /etc/profile


20190125192000999.png

2. 校验单机版zk

a. 启动Zookeeper

zkServer.sh start

b. 查看进程(有QuorumPeerMain说明成功)

jps


20190125192105944.png


3. 在同步zk到slave1、slave2

a. 停止master上的zk

zkServer.sh stop


20190125192451602.png


b. 配置集群所需的参数及文件

  • 添加上节点的关系(修改成自己对应的节点名)

vi zoo.cfg


server.0=hadoop-master:8880:7770
server.1=hadoop-slave1:8881:7771
server.2=hadoop-slave2:8882:7772


20190125193254523.png


  • 在之前创建的datadir目录下创建表示文件

vi ../datadir/myid


20190125193430203.png


然后输入0,保存,退出


c. 复制zk主目录到slave1、slave2

scp -r /usr/local/zookeeper-3.4.10 root@hadoop-slave1:/usr/local/

复制成功截图:


20190125193621348.png


d. 切换到slave1终端

vi /usr/local/zookeeper-3.4.10/datadir/myid


20190125193756147.png


然后把0改为1,保存,退出

e. 配置环境变量,与master时一样

f. slave2同理,与c.d.e.三点类似,myid为2


0x04 Zookeeper集群校验


1. 启动三个节点的zk

zkServer.sh start

2. 查看zk集群角色状态

zkServer.sh status


20190125194345281.png


2019012519444738.png


2019012519451164.png


可看到:

master与slave2角色为:follower

slave1角色为:leader


3. 杀死leader进程

a. 即杀死slave1上的zk进程,在slave1终端执行

jps

kill -9 429


20190125194739132.png


4. 观察zk集群角色变化

a. 在master、slave2查看zk状态

zkServer.sh status


20190125194920805.png


20190125194841120.png


b. 发现master角色不变还是follower,而slave2则变成了leader,这就是Zookeeper的选举机制,选举有特定的算法

c. 在master、slave2执行关闭zk

zkServer.sh stop

d. 再重新启动zk集群(方便下面的教程学习)

zkServer.sh start

e. 查看角色状态(这次master为leader)

zkServer.sh status


20190125195316858.png


0xFF 总结


  1. Zookeeper是一个分布式协调服务系统,在大数据领域的地位很重要,Kafka、HBase、HDFS的HA等均离不开zk
  2. Zookeeper有两个常用的应用场景,1.是对集群配置的管理2.集群分布式锁的实现
  3. 请自行了解Zookeeper的相关用法,或者留意本博客的相关教程。


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
打赏
0
0
0
0
11
分享
相关文章
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
dubbo学习一:zookeeper与dubbo的关系,下载安装启动zookeeper(解决启动中报错)
这篇文章是关于Apache Dubbo框架与Zookeeper的关系,以及如何下载、安装和启动Zookeeper的教程,包括解决启动过程中可能遇到的报错问题。
217 3
dubbo学习一:zookeeper与dubbo的关系,下载安装启动zookeeper(解决启动中报错)
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
174 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
124 1
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
86 1
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
88 1
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
104 1
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等