ARM+麒麟大数据环境搭建:ZK

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
注册配置 MSE Nacos/ZooKeeper,182元/月
简介: ARM+麒麟大数据环境搭建:ZK

第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
Zookeeper在整个数据中台环境中起到协调器的作用,提供数据中台的统一注册中心,用来保持数据中台内相关组件的一致性。
2.2逻辑部署拓扑
Zk采用奇数节点进行集群部署,内部分为leader与follow两类角色节点,内部通过相关算法实现高可用,支持leader选举生成与移动。
2.3物理部署拓扑
在1主2从配置下,三台机器均部署zk,如果机器多zk可以适当膨胀,但是必须是奇数节点,且并不需要所有大数据机器均部署zk,一般zk为3个节点即可保证提供可靠注册中心与一致性服务。Zk所使用配置较小,不需要独立设定服务器依附于响应hadoop namenode与datanode机器即可。
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
JDK依赖:JDK 1.8
组件依赖:无

2.5界面效果
2.5.1Zk启动
image.png

2.5.2Zk日志
image.png

2.5.3Zk命令行管理工具
image.png

第3章部署步骤
注意以下步骤所有需部署zk节点依次执行
3.1部署配置
3.1.1安装包上传
将安装包上传至/opt/abd_env_soft
/opt/abd_env_soft/apache-zookeeper-3.6.3-bin.tar.gz

3.1.2解压缩并重命名安装目录文件夹
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin apache-zookeeper

3.1.3建立数据存储目录
mkdir /opt/abd_env_soft/apache-zookeeper/data

3.1.4创建配置文件
复制默认配置文件为所用的配置文件
cp /opt/abd_env_soft/apache-zookeeper/conf/zoo_sample.cfg /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg

3.1.5编辑配置文件
编辑配置
vim /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg
image.png

注释红框第一行,并且在文件最后添加如下配置
dataDir=/opt/abd_env_soft/apache-zookeeper/data
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

3.1.6添加myid文件
添加myid文件,并填写服务器编号【1】,此处注意,服务器的编号以此取自上面的【server.n】的n值,即每个节点数值不同
vi /opt/abd_env_soft/apache-zookeeper/data/myid
在VI内输入【1】

image.png

3.1.7添加zk环境变量
vim /etc/profile
在文件末尾添加如下内容
export ZK_HOME=/opt/abd_env_soft/apache-zookeeper/
export PATH=$PATH:$ZK_HOME/bin

image.png

3.1.8应用环境变量
. /etc/profile

3.2程序启动
3.2.1启动ZK
node1、node2、node3,分别执行
zkServer.sh start
当显示【STARTED】则为运行成功

image.png

3.2.2验证ZK
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower
image.png

image.png
image.png

第4章常见操作
4.1启动命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh start

4.2关闭命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh stop

4.3Zk连接地址
Hadoop等其他环节配置zk一般是将所有节点均配置上,一般写法如下:
node1:2181,node2:2181,node3:2181
如在hadoop core-site.xml配置zk格式示例如下:

4.4Cli登录zk
可以直接使用【zkCli.sh】进行zk本机登录,集群后的zk,在任何一台机器上操作,均会自动同步到所有节点,登录后可以使用【ls】、【create】等诸多命令管理zk节点信息。
image.png

4.5日志查看命令
可通过如下命令进入日志目录
cd /opt/abd_env_soft/apache-zookeeper/logs
image.png
image.png

4.6健康检查方法
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
消息中间件 网络安全 数据安全/隐私保护
麒麟系统ARM安装rabbitmq
麒麟系统ARM安装rabbitmq
|
6月前
|
Kubernetes 应用服务中间件 nginx
鲲鹏Arm+麒麟V10,国产化信创 K8s 离线部署保姆级教程
Rainbond V6 国产化部署教程,针对鲲鹏 CPU + 麒麟 V10 的离线环境,手把手教你从环境准备到应用上线,所有依赖包提前打包好,步骤写成**傻瓜式**操作指南。别说技术团队了,照着文档一步步来,让你领导来都能独立完成部署。
鲲鹏Arm+麒麟V10,国产化信创 K8s 离线部署保姆级教程
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
339 4
|
Ubuntu KVM 虚拟化
基于ARM64的Qemu/KVM学习环境搭建
基于ARM64的Qemu/KVM学习环境搭建
|
SQL 消息中间件 分布式计算
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
343 0
|
SQL 大数据
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
344 0
|
数据采集 消息中间件 监控
大数据组件-Flume集群环境搭建
大数据组件-Flume集群环境搭建
462 0
|
NoSQL Ubuntu Linux
基于ARM64的Qemu/KVM学习环境搭建2
基于ARM64的Qemu/KVM学习环境搭建2
|
分布式计算 Hadoop Java
大数据实战平台环境搭建(上)
大数据实战平台环境搭建(上)
399 1
|
消息中间件 网络安全 数据安全/隐私保护
麒麟系统ARM安装rabbitmq
记录下麒麟liunx系统安装rabbitmq的踩坑记录,按照我这个步骤来,100%解决问题。 希望对您有帮助!
麒麟系统ARM安装rabbitmq

热门文章

最新文章

下一篇
oss云网关配置