第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
Zookeeper在整个数据中台环境中起到协调器的作用,提供数据中台的统一注册中心,用来保持数据中台内相关组件的一致性。
2.2逻辑部署拓扑
Zk采用奇数节点进行集群部署,内部分为leader与follow两类角色节点,内部通过相关算法实现高可用,支持leader选举生成与移动。
2.3物理部署拓扑
在1主2从配置下,三台机器均部署zk,如果机器多zk可以适当膨胀,但是必须是奇数节点,且并不需要所有大数据机器均部署zk,一般zk为3个节点即可保证提供可靠注册中心与一致性服务。Zk所使用配置较小,不需要独立设定服务器依附于响应hadoop namenode与datanode机器即可。
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
JDK依赖:JDK 1.8
组件依赖:无
2.5界面效果
2.5.1Zk启动
2.5.2Zk日志
2.5.3Zk命令行管理工具
第3章部署步骤
注意以下步骤所有需部署zk节点依次执行
3.1部署配置
3.1.1安装包上传
将安装包上传至/opt/abd_env_soft
/opt/abd_env_soft/apache-zookeeper-3.6.3-bin.tar.gz
3.1.2解压缩并重命名安装目录文件夹
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin apache-zookeeper
3.1.3建立数据存储目录
mkdir /opt/abd_env_soft/apache-zookeeper/data
3.1.4创建配置文件
复制默认配置文件为所用的配置文件
cp /opt/abd_env_soft/apache-zookeeper/conf/zoo_sample.cfg /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg
3.1.5编辑配置文件
编辑配置
vim /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg
注释红框第一行,并且在文件最后添加如下配置
dataDir=/opt/abd_env_soft/apache-zookeeper/data
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
3.1.6添加myid文件
添加myid文件,并填写服务器编号【1】,此处注意,服务器的编号以此取自上面的【server.n】的n值,即每个节点数值不同
vi /opt/abd_env_soft/apache-zookeeper/data/myid
在VI内输入【1】
3.1.7添加zk环境变量
vim /etc/profile
在文件末尾添加如下内容
export ZK_HOME=/opt/abd_env_soft/apache-zookeeper/
export PATH=$PATH:$ZK_HOME/bin
3.1.8应用环境变量
. /etc/profile
3.2程序启动
3.2.1启动ZK
node1、node2、node3,分别执行
zkServer.sh start
当显示【STARTED】则为运行成功
3.2.2验证ZK
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower
第4章常见操作
4.1启动命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh start
4.2关闭命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh stop
4.3Zk连接地址
Hadoop等其他环节配置zk一般是将所有节点均配置上,一般写法如下:
node1:2181,node2:2181,node3:2181
如在hadoop core-site.xml配置zk格式示例如下:
4.4Cli登录zk
可以直接使用【zkCli.sh】进行zk本机登录,集群后的zk,在任何一台机器上操作,均会自动同步到所有节点,登录后可以使用【ls】、【create】等诸多命令管理zk节点信息。
4.5日志查看命令
可通过如下命令进入日志目录
cd /opt/abd_env_soft/apache-zookeeper/logs
4.6健康检查方法
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower