Amazon Linux 系统安装配置zookeeper集群

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

简介:

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。


zookeeper模式:

Standalone独立模式:

只有一个zookeeper服务实例,不可保证高可靠性和恢复性,可在测试环境中使用,生产环境不建议使用。


Distributed集群模式:

有多个zookeeper实例在运行,建议多个zk实例是在不同的服务器上。集群中不同zookeeper实例之间数据不停的同步。有半数以上的实例保持正常运行,zk服务就能正常运行,例如:有5个zk实例,挂了2个,还剩3个,依然可以正常工作;如有6个zk实例,挂了3个,则不能正常工作。


伪集群模式:

简单来说,集群伪分布模式就是在单机下模拟集群的ZooKeeper服务。


本文主要讲解集群模式安装部署



一、安装环境

1、操作系统:Amazon Linux(目前版本基于centos6核心) 

2、jdk-1.7.9

3、zookeeper-3.4.8


二、安装JDK

安装Zookeeper需要先安装JDK,

安装JDK参考本站博文http://linuxtech.blog.51cto.com/3670088/1706792


三、修改hosts文件

主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接,所以,在配置的ZooKeeper集群的时候,每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。

例如,我的ZooKeeper集群中每个结点的配置,以slave-01为例,/etc/hosts内容如下所示:

192.168.0.101   slave-1  

192.168.0.102   slave-2  

192.168.0.103   slave-3 

ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会采用该算法重新选出一个Leader。因此,各个结点之间要能够保证互相连接,必须配置上述映射。

ZooKeeper集群启动的时候,会首先选出一个Leader,在Leader election过程中,某一个满足选举算的结点就能成为Leader。


四、安装并配置zookeeper

到http://zookeeper.apache.org/releases.html去下载Zookeeper,建议选择稳定版,即stable的。


tar zxvf zookeeper-3.4.8.tar.gz -C /export/Server/

cd /export/Server/

mv zookeeper-3.4.8/ zookeeper

cd zookeeper/

cp conf/zoo_sample.cfg conf/zoo.cfg

mkdir -p /export/data/zookeeper/


修改zoo.cfg配置文件

sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/export\/data\/zookeeper/' conf/zoo.cfg

echo '''

> server.1=slave-1:2888:3888

> server.2=slave-2:2888:3888

> server.3=slave-3:2888:3888

> ''' >> conf/zoo.cfg


五、配置zookeeper的环境变量

cat >> /etc/profile <<EOF

export   ZOOKEEPER_HOME=/export/Server/zookeeper

export   PATH=$PATH:$ZOOKEEPER_HOME/bin

EOF


使之生效

source /etc/profile


六:远程复制分发安装文件

上面已经在一台机器slave-01上配置完成ZooKeeper,现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下:


七:设置myid

在我们zoo.cfg配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X是什么数字,则myid文件中就输入这个数字,例如:

[root@slave-1 /]echo "1" > /export/data/zookeeper/myid  

[root@slave-2 /]echo "2" > /export/data/zookeeper/myid  

[root@slave-3 /]echo "3" > /export/data/zookeeper/myid


八、启动ZooKeeper集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:

chmod +x -R bin/

cd bin/

./zkServer.sh start


查看启动日志:

tail -500f zookeeper.out 


九、查看状态

查看zookeeper集群是否启动

./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /export/Server/zookeeper/bin/../conf/zoo.cfg

Mode: follower

 

leader的显示是:

ZooKeeper JMX enabled by default

Using config: /export/Server/zookeeper/bin/../conf/zoo.cfg

Mode: leader

 

查看zookeeper的启动状态

echo ruok | nc 192.168.0.101 2181

控制台输出: imok



十、测试

通过zkCli.sh -server ip 就可以连接到其中一台server中,然后就可以通过交互式命令来控制zk了



(完)

本文转自 jvrmusic520  51CTO博客,原文链接:http://blog.51cto.com/linuxtech/1775378


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
3月前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
127 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
3月前
|
关系型数据库 MySQL Linux
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
基于阿里云服务器Linux系统安装Docker完整图文教程(附部署开源项目)
757 3
|
3月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
72 1
|
4月前
|
Java 网络安全
zookeeper的环境搭建和配置
本文介绍了如何在多台节点上搭建和配置Zookeeper环境。内容包括Zookeeper的下载、解压、环境变量配置、配置文件修改、zkdata目录创建、myid文件设置,以及将Zookeeper及其配置文件复制到其他节点。还提供了运行测试的命令,包括启动、状态检查和停止Zookeeper服务。
zookeeper的环境搭建和配置
|
3月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
64 0
|
5月前
|
消息中间件 存储 Kafka
ZooKeeper助力Kafka:掌握这四大作用,让你的消息队列系统稳如老狗!
【8月更文挑战第24天】Kafka是一款高性能的分布式消息队列系统,其稳定运行很大程度上依赖于ZooKeeper提供的分布式协调服务。ZooKeeper在Kafka中承担了四大关键职责:集群管理(Broker的注册与选举)、主题与分区管理、领导者选举机制以及消费者组管理。通过具体的代码示例展示了这些功能的具体实现方式。
148 2
|
5月前
|
人工智能 Java 测试技术
就AI 基础设施的演进与挑战问题之ZooKeeper的稳定性提升配置优化的问题如何解决
就AI 基础设施的演进与挑战问题之ZooKeeper的稳定性提升配置优化的问题如何解决
|
5月前
|
NoSQL Linux 网络安全
Linux系统安装Redis
该博客文章详细介绍了在Linux系统中安装Redis的步骤,包括下载、编译、配置、启动Redis服务以及使用客户端访问Redis数据库的过程。
Linux系统安装Redis
|
5月前
|
并行计算 PyTorch Linux
【Deepin 20系统】Linux系统安装Pytorch、Torch
本文提供了在Deepin 20系统中安装PyTorch及其相关库的指南,包括创建conda环境、安装PyTorch及依赖库的步骤。
67 3
|
6月前
|
Java Spring
spring cloud gateway在使用 zookeeper 注册中心时,配置https 进行服务转发
spring cloud gateway在使用 zookeeper 注册中心时,配置https 进行服务转发
147 3