Amazon Linux 系统安装配置zookeeper集群

简介:

简介:

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。


zookeeper模式:

Standalone独立模式:

只有一个zookeeper服务实例,不可保证高可靠性和恢复性,可在测试环境中使用,生产环境不建议使用。


Distributed集群模式:

有多个zookeeper实例在运行,建议多个zk实例是在不同的服务器上。集群中不同zookeeper实例之间数据不停的同步。有半数以上的实例保持正常运行,zk服务就能正常运行,例如:有5个zk实例,挂了2个,还剩3个,依然可以正常工作;如有6个zk实例,挂了3个,则不能正常工作。


伪集群模式:

简单来说,集群伪分布模式就是在单机下模拟集群的ZooKeeper服务。


本文主要讲解集群模式安装部署



一、安装环境

1、操作系统:Amazon Linux(目前版本基于centos6核心) 

2、jdk-1.7.9

3、zookeeper-3.4.8


二、安装JDK

安装Zookeeper需要先安装JDK,

安装JDK参考本站博文http://linuxtech.blog.51cto.com/3670088/1706792


三、修改hosts文件

主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接,所以,在配置的ZooKeeper集群的时候,每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。

例如,我的ZooKeeper集群中每个结点的配置,以slave-01为例,/etc/hosts内容如下所示:

192.168.0.101   slave-1  

192.168.0.102   slave-2  

192.168.0.103   slave-3 

ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中,只有一个Leader,其他的都是Follower,如果ZooKeeper集群在运行过程中Leader出了问题,系统会采用该算法重新选出一个Leader。因此,各个结点之间要能够保证互相连接,必须配置上述映射。

ZooKeeper集群启动的时候,会首先选出一个Leader,在Leader election过程中,某一个满足选举算的结点就能成为Leader。


四、安装并配置zookeeper

到http://zookeeper.apache.org/releases.html去下载Zookeeper,建议选择稳定版,即stable的。


tar zxvf zookeeper-3.4.8.tar.gz -C /export/Server/

cd /export/Server/

mv zookeeper-3.4.8/ zookeeper

cd zookeeper/

cp conf/zoo_sample.cfg conf/zoo.cfg

mkdir -p /export/data/zookeeper/


修改zoo.cfg配置文件

sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/export\/data\/zookeeper/' conf/zoo.cfg

echo '''

> server.1=slave-1:2888:3888

> server.2=slave-2:2888:3888

> server.3=slave-3:2888:3888

> ''' >> conf/zoo.cfg


五、配置zookeeper的环境变量

cat >> /etc/profile <<EOF

export   ZOOKEEPER_HOME=/export/Server/zookeeper

export   PATH=$PATH:$ZOOKEEPER_HOME/bin

EOF


使之生效

source /etc/profile


六:远程复制分发安装文件

上面已经在一台机器slave-01上配置完成ZooKeeper,现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下:


七:设置myid

在我们zoo.cfg配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,conf/zoo.cfg文件中配置的server.X中X是什么数字,则myid文件中就输入这个数字,例如:

[root@slave-1 /]echo "1" > /export/data/zookeeper/myid  

[root@slave-2 /]echo "2" > /export/data/zookeeper/myid  

[root@slave-3 /]echo "3" > /export/data/zookeeper/myid


八、启动ZooKeeper集群

在ZooKeeper集群的每个结点上,执行启动ZooKeeper服务的脚本,如下所示:

chmod +x -R bin/

cd bin/

./zkServer.sh start


查看启动日志:

tail -500f zookeeper.out 


九、查看状态

查看zookeeper集群是否启动

./zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /export/Server/zookeeper/bin/../conf/zoo.cfg

Mode: follower

 

leader的显示是:

ZooKeeper JMX enabled by default

Using config: /export/Server/zookeeper/bin/../conf/zoo.cfg

Mode: leader

 

查看zookeeper的启动状态

echo ruok | nc 192.168.0.101 2181

控制台输出: imok



十、测试

通过zkCli.sh -server ip 就可以连接到其中一台server中,然后就可以通过交互式命令来控制zk了



(完)

本文转自 jvrmusic520  51CTO博客,原文链接:http://blog.51cto.com/linuxtech/1775378


相关文章
|
Ubuntu Linux 网络安全
Linux服务器之Ubuntu的安装与配置
Ubuntu Desktop是目前最成功、最流行的图形界面的Linux发行版;而Ubuntu Server也在服务器端市场占据了较大的份额。今天为大家详细介绍了Ubuntu Server的安装与配置,希望对你能有所帮助。关于VMware、VirtualBox等虚拟化软件的使用,朱哥还会在后续的文章中为大家详细介绍,敬请关注!
|
存储 Linux 开发工具
Linux环境下使用Buildroot配置软件包
使用Buildroot可以大大简化嵌入式Linux系统的开发和维护工作,但它需要对Linux系统和交叉编译有深入的理解。通过上述步骤,可以有效地配置和定制软件包,为特定的嵌入式应用构建高效、稳定的系统。
1286 11
|
关系型数据库 MySQL Java
安装和配置JDK、Tomcat、MySQL环境,以及如何在Linux下更改后端端口。
遵循这些步骤,你可以顺利完成JDK、Tomcat、MySQL环境的安装和配置,并在Linux下更改后端端口。祝你顺利!
839 11
|
Kubernetes Linux 网络安全
Rocky Linux 8.9配置Kubernetes集群详解,适用于CentOS环境
初始化成功后,记录下显示的 `kubeadm join`命令。
972 0
|
存储 安全 Linux
Linux服务器上安装配置GitLab的步骤。
按照以上步骤,一个基础的GitLab服务应该运行并可以使用。记得定期检查GitLab官方文档,因为GitLab的安装和配置步骤可能随着新版本而变化。
1158 0
|
安全 Linux 网络安全
在Linux(CentOS和AWS)上安装更新的git2的方法并配置github-ssh
经过以上这些步骤,你现在就能在GitHub上顺利往返,如同海洋中的航海者自由驰骋。欢迎你加入码农的世界,享受这编程的乐趣吧!
715 10
|
消息中间件 运维 Java
搭建Zookeeper、Kafka集群
本文详细介绍了Zookeeper和Kafka集群的搭建过程,涵盖系统环境配置、IP设置、主机名设定、防火墙与Selinux关闭、JDK安装等基础步骤。随后深入讲解了Zookeeper集群的安装与配置,包括数据目录创建、节点信息设置、SASL认证配置及服务启动管理。接着描述了Kafka集群的安装,涉及配置文件修改、安全认证设置、生产消费认证以及服务启停操作。最后通过创建Topic、发送与查看消息等测试验证集群功能。全网可搜《小陈运维》获取更多信息。
1209 1
|
Linux 网络安全 开发工具
在Linux下配置gitee与Github的远程仓库
注意,git push后,是输入你的账号与密码。这个步骤可以通过特殊设置省去,但是一开始还是不要太省。
855 0
|
消息中间件 分布式计算 资源调度
《聊聊分布式》ZooKeeper与ZAB协议:分布式协调的核心引擎
ZooKeeper是一个开源的分布式协调服务,基于ZAB协议实现数据一致性,提供分布式锁、配置管理、领导者选举等核心功能,具有高可用、强一致和简单易用的特点,广泛应用于Kafka、Hadoop等大型分布式系统中。
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2