ARM+麒麟大数据环境搭建:ZK

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: ARM+麒麟大数据环境搭建:ZK

第1章概述
1.1编写目的
暂无
1.2业务背景
暂无
第2章组件介绍
2.1组件介绍与架构说明
Zookeeper在整个数据中台环境中起到协调器的作用,提供数据中台的统一注册中心,用来保持数据中台内相关组件的一致性。
2.2逻辑部署拓扑
Zk采用奇数节点进行集群部署,内部分为leader与follow两类角色节点,内部通过相关算法实现高可用,支持leader选举生成与移动。
2.3物理部署拓扑
在1主2从配置下,三台机器均部署zk,如果机器多zk可以适当膨胀,但是必须是奇数节点,且并不需要所有大数据机器均部署zk,一般zk为3个节点即可保证提供可靠注册中心与一致性服务。Zk所使用配置较小,不需要独立设定服务器依附于响应hadoop namenode与datanode机器即可。
2.4依赖环境
硬件:Phytium ARM CPU,银河麒麟v10 内核版本4.19.90-17 arm64 桌面版
JDK依赖:JDK 1.8
组件依赖:无

2.5界面效果
2.5.1Zk启动
image.png

2.5.2Zk日志
image.png

2.5.3Zk命令行管理工具
image.png

第3章部署步骤
注意以下步骤所有需部署zk节点依次执行
3.1部署配置
3.1.1安装包上传
将安装包上传至/opt/abd_env_soft
/opt/abd_env_soft/apache-zookeeper-3.6.3-bin.tar.gz

3.1.2解压缩并重命名安装目录文件夹
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz
mv apache-zookeeper-3.6.3-bin apache-zookeeper

3.1.3建立数据存储目录
mkdir /opt/abd_env_soft/apache-zookeeper/data

3.1.4创建配置文件
复制默认配置文件为所用的配置文件
cp /opt/abd_env_soft/apache-zookeeper/conf/zoo_sample.cfg /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg

3.1.5编辑配置文件
编辑配置
vim /opt/abd_env_soft/apache-zookeeper/conf/zoo.cfg
image.png

注释红框第一行,并且在文件最后添加如下配置
dataDir=/opt/abd_env_soft/apache-zookeeper/data
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

3.1.6添加myid文件
添加myid文件,并填写服务器编号【1】,此处注意,服务器的编号以此取自上面的【server.n】的n值,即每个节点数值不同
vi /opt/abd_env_soft/apache-zookeeper/data/myid
在VI内输入【1】

image.png

3.1.7添加zk环境变量
vim /etc/profile
在文件末尾添加如下内容
export ZK_HOME=/opt/abd_env_soft/apache-zookeeper/
export PATH=$PATH:$ZK_HOME/bin

image.png

3.1.8应用环境变量
. /etc/profile

3.2程序启动
3.2.1启动ZK
node1、node2、node3,分别执行
zkServer.sh start
当显示【STARTED】则为运行成功

image.png

3.2.2验证ZK
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower
image.png

image.png
image.png

第4章常见操作
4.1启动命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh start

4.2关闭命令
node1、node2、node3,分别执行,可不分先后顺序
zkServer.sh stop

4.3Zk连接地址
Hadoop等其他环节配置zk一般是将所有节点均配置上,一般写法如下:
node1:2181,node2:2181,node3:2181
如在hadoop core-site.xml配置zk格式示例如下:

4.4Cli登录zk
可以直接使用【zkCli.sh】进行zk本机登录,集群后的zk,在任何一台机器上操作,均会自动同步到所有节点,登录后可以使用【ls】、【create】等诸多命令管理zk节点信息。
image.png

4.5日志查看命令
可通过如下命令进入日志目录
cd /opt/abd_env_soft/apache-zookeeper/logs
image.png
image.png

4.6健康检查方法
node1、node2、node3,三台运行后,可以通过
zkServer.sh status查看其状态
应该为一个是leader、两个是follower

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
消息中间件 网络安全 数据安全/隐私保护
麒麟系统ARM安装rabbitmq
麒麟系统ARM安装rabbitmq
|
15天前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
45 4
|
13天前
|
SQL 消息中间件 分布式计算
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(一)
34 0
|
13天前
|
SQL 大数据
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解(二)
45 0
|
1月前
|
Ubuntu KVM 虚拟化
基于ARM64的Qemu/KVM学习环境搭建
基于ARM64的Qemu/KVM学习环境搭建
|
1月前
|
NoSQL Ubuntu Linux
基于ARM64的Qemu/KVM学习环境搭建2
基于ARM64的Qemu/KVM学习环境搭建2
|
5月前
|
分布式计算 Hadoop Java
大数据实战平台环境搭建(上)
大数据实战平台环境搭建(上)
|
5月前
|
分布式计算 Hadoop Java
大数据实战平台环境搭建(下)
大数据实战平台环境搭建(下)
|
5月前
|
消息中间件 网络安全 数据安全/隐私保护
麒麟系统ARM安装rabbitmq
记录下麒麟liunx系统安装rabbitmq的踩坑记录,按照我这个步骤来,100%解决问题。 希望对您有帮助!
麒麟系统ARM安装rabbitmq
|
数据采集 消息中间件 监控
大数据组件-Flume集群环境搭建
大数据组件-Flume集群环境搭建
182 0