ZooKeeper完全分布式安装与配置

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Zookeeper是一个很好的集群管理工具,被大量用于分布式计算。如Hadoop以及Storm系统中。这里简单记录下Zookeeper集群环境的搭建过程。本文以Centos6.5作为操作系统环境。
Apache ZooKeeper是一个为分布式应用所设计开源协调服务,其设计目是为了减轻分布式应用程序所承担的协调任务。可以为用户提供同步、配置管理、分组和命名服务。
1.环境说明

在三台装有centos6.5(64位)服务器上安装ZooKeeper,官网建议至少3个节点,本次实验3台

主机数:3(要求3+,且必须是奇数,因为ZooKeeper选举算法))。

需要提前安装jdk,选择版本是jdk-8u91-linux-x64。

2.配置主机名和ip映射关系

ZooKeeper集群所有结点作为一个整体对分布式应用提供服务,因此需要各个节点实现互连,就要知道其它节点主机和ip的映射关系。在每个节点上配置/etc/hosts文件,添加如下:

主机名 IP地址 JDK ZooKeeper myid
1.8.0_11 server.1  1
1.8.0_11 server.2  2
1.8.0_11 server.3  3

1)下载ZooKeeper,选择稳定版,即stable

2)解压 
tar -zxvf zookeeper-3.4.8.tar.gz
这里路径 为  /home/hadoop/zookeeper-3.4.6
3)修改/etc/profile,添加ZooKeeper环境变量 
/home/hadoop/zookeeper-3.4.8
 
 4)新建zoo.cfg并修改  
 
cp conf/zoo_sample.cfg conf/zoo.cfg
 
  
 
  
# The number of milliseconds of each tick
 
  
 
 
 
  
 
  
参数说明:  

①tickTime:心跳时间,毫秒为单位。

②initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

③syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime时间长度,总时间长度就是 5*2000=10 秒。

④dataDir:存储内存中数据库快照的位置。

⑤clientPort:监听客户端连接的端口

⑥server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

5)dataDir目录下创建myid文件,将内容设置为上⑥中A值,用来标识不同的服务器。

/home/hadoop/zookeeper-3.4.8/data/myid

 
  

在节点配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,$ZOOKEEPER_HOME/conf/zoo.cfg文件中配置server.X,则myid文件中就输入这个数字X。(即在每个节点上新建并设置文件myid,其内容与zoo.cfg中

id相对应)这里hadoop01节点为 1

cd /home/hadoop/zookeeper-3.4.8/datatouch myid
echo"1" > myid

4.从master节点分发文件到其它节点
 
  

1、在master节点的/home/hadoop/目录下

scp -r zookeeper-3.4.6 hadoop@hadoop02:~/
scp -r zookeeper-3.4.6 hadoop@hadoop03:~/
scp -r data hadoop@hadoop02:~/zookeeper-3.4.8
scp -r data hadoop@hadoop03:~/zookeeper-3.4.8

2、在hadoop02节点的/home/hadoop/目录下

vi ./zookeeper-3.4.8/data/myid

修改为 2

3、在hadoop03节点的/home/hadoop/目录下

 
   
vi ./zookeeper-3.4.8/data/myid

修改为 3

 
 

1)各节点上启动 (这里启动顺序为 hadoop01 >  hadoop02 >  hadoop03 )

 
 
 
 2)jps查看进程  
 
 
 QuorumPeerMain是zookeeper进程,说明启动正常。
3)查看状态  
 
 
 
 
 
 4)停止ZooKeeper  
 
 
 
 
 
 
 
 
 
注意事项:
如果集群上同时安装了Hadoop、HBase、Zookeeper,需要注意三者之间有先后启动顺序:
启动顺序:
Hadoop——>Zookeeper——>HBase
停止顺序
HBase——>Zookeeper——>Hadoop
 
 
 
 

启动集群

首先启动hadoop(在hadoop01start-all.sh),

然后启动zookeeper集群(分别在三台机器上zkServer.sh  start;可以使用zkServer.sh status查看zk状态)。

最后在hadoop01上启动hbase集群(start-hbase.sh)。

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
1月前
|
监控 负载均衡 Cloud Native
ZooKeeper分布式协调服务详解:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析ZooKeeper分布式协调服务原理,涵盖核心概念如Server、Client、ZNode、ACL、Watcher,以及ZAB协议在一致性、会话管理、Leader选举中的作用。讨论ZooKeeper数据模型、操作、会话管理、集群部署与管理、性能调优和监控。同时,文章探讨了ZooKeeper在分布式锁、队列、服务注册与发现等场景的应用,并在面试方面分析了与其它服务的区别、实战挑战及解决方案。附带Java客户端实现分布式锁的代码示例,助力提升面试表现。
416 2
|
1天前
|
存储 监控 负载均衡
Zookeeper 详解:分布式协调服务的核心概念与实践
Zookeeper 详解:分布式协调服务的核心概念与实践
5 0
|
29天前
|
前端开发 JavaScript 算法
分布式系统的一致性级别划分及Zookeeper一致性级别分析
分布式系统的一致性级别划分及Zookeeper一致性级别分析
|
1月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
12 2
单向/双向V2G环境下分布式电源与电动汽车充电站联合配置方法(matlab代码)
单向/双向V2G环境下分布式电源与电动汽车充电站联合配置方法(matlab代码)
|
1月前
|
调度
考虑充电负荷空间可调度特性的分布式电源与电动汽车充电站联合配置方法(matlab代码)
考虑充电负荷空间可调度特性的分布式电源与电动汽车充电站联合配置方法(matlab代码)
|
1月前
|
安全
考虑极端天气线路脆弱性的配电网分布式电源和储能优化配置模型
考虑极端天气线路脆弱性的配电网分布式电源和储能优化配置模型
|
1月前
|
调度
互动环境下分布式电源与电动汽车充电站的优化配置方法研究-全文复现matlab
互动环境下分布式电源与电动汽车充电站的优化配置方法研究-全文复现matlab
|
1月前
|
存储 大数据 Apache
深入理解ZooKeeper:分布式协调服务的核心与实践
【5月更文挑战第7天】ZooKeeper是Apache的分布式协调服务,确保大规模分布式系统中的数据一致性与高可用性。其特点包括强一致性、高可用性、可靠性、顺序性和实时性。使用ZooKeeper涉及安装配置、启动服务、客户端连接及执行操作。实际应用中,面临性能瓶颈、不可伸缩性和单点故障等问题,可通过水平扩展、集成其他服务和多集群备份来解决。理解ZooKeeper原理和实践,有助于构建高效分布式系统。
|
1月前
|
Windows
Windows系统下安装分布式事务组件Seata
Windows系统下安装分布式事务组件Seata