【大数据】ZooKeeper（上）-阿里云开发者社区

Apache ZooKeeper

1.Zookeeper基本知识

1.ZooKeeper概述

Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。

ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。

ZooKeeper特性
全局数据一致：集群中每个服务器保存一份相同的数据副本，client无论连接到哪个服务器，展示的数据都是一致的，这是最重要的特征；
可靠性：如果消息被其中一台服务器接受，那么将被所有的服务器接受。
顺序性：包括全局有序和偏序两种：全局有序是指如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布；偏序是指如果一个消息b在消息a后被同一个发送者发布，a必将排在b前面。
数据更新原子性：一次数据更新要么成功（半数以上节点成功），要么失败，不存在中间状态；
实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。
ZooKeeper集群角色

Leader:

Zookeeper集群工作的核心

事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；

集群内部各个服务器的调度者。

对于create，setData，delete等有写操作的请求，则需要统一转发给leader处理，leader需要决定编号、执行操作，这个过程称为一个事务。

Follower:

处理客户端非事务（读操作）请求，转发事务请求给Leader；

参与集群Leader选举投票。

此外，针对访问量比较大的zookeeper集群，还可新增观察者角色。

Observer:

观察者角色，观察Zookeeper集群的最新状态变化并将这些状态同步过来，其对于非事务请求可以进行独立处理，对于事务请求，则会转发给Leader服务器进行处理。

不会参与任何形式的投票只提供非事务服务，通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

ZooKeeper集群搭建

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。

Zookeeper运行需要java环境，所以需要提前安装jdk。对于安装leader+follower模式的集群，大致过程如下：

配置主机名称到IP地址映射配置

修改ZooKeeper配置文件

远程复制分发安装文件

设置myid

启动ZooKeeper集群

如果要想使用Observer模式，可在对应节点的配置文件添加如下配置：

peerType=observer

其次，必须在配置文件指定哪些节点被指定为Observer，如：

server.1:node1:2181:3181:observer

第一步：下载

下载网址Index of /dist/zookeeper

我们在这个网址下载我们使用的zk版本为apache-zookeeper-3.5.7-bin.tar.gz，下载完成之后，上传到我们的linux的/export/software路径下

第二步：解压

解压zookeeper的压缩包到/export/servers路径下去，然后准备进行安装

cd /export/software

tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ../servers/

第三步：修改配置文件

第一台机器修改配置文件

cd /export/servers/apache-zookeeper-3.5.7-bin/conf/

cp zoo_sample.cfg zoo.cfg

mkdir -p /export/servers/apache-zookeeper-3.5.7-bin/zkdata/

vim zoo.cfg

dataDir=/export/servers/apache-zookeeper-3.5.7-bin/zkdata

autopurge.snapRetainCount=3

autopurge.purgeInterval=1

server.1=hadoop01:2888:3888

server.2=hadoop02:2888:3888

server.3=hadoop03:2888:3888

客户端在与 zookeeper 交互过程中会产生非常多的日志，而且 zookeeper 也会将内存中的数据作为 snapshot 保存下来，这些数据是不会被自动删除的，这样磁盘中这样的数据就会越来越多。不过可以通过这两个参数来设置，让 zookeeper 自动删除数据。

autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。

autopurge.snapRetainCount这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。

server.A= B:C:D ：服务器名称与地址（服务器编号，服务器地址，LF 通信端口，选举端口），这个配置项的书写格式比较特殊。

A 是一个数字，表示这个是第几号服务器；

B 是这个服务器的 ip 地址；

C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口(心跳端口)；

D 选举端口表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口(选举端口)。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

配置参数

1）tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2）initLimit =10：LF初始通信时限

集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

此配置表示，允许 follower （相对于 leader 而言的“客户端”）连接并同步到 leader 的初始化连接时间，它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败。

3）syncLimit =5：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。

4）dataDir：数据文件目录+数据持久化路径

主要用于保存Zookeeper中的数据。

5）clientPort =2181：客户端连接端口

监听客户端连接的端口。

第四步：添加myid配置

在第一台机器的

/export/servers/apache-zookeeper-3.5.7-bin/zkdata这个路径下创建一个文件，文件名为myid ,文件内容为1

echo 1 > /export/servers/apache-zookeeper-3.5.7-bin/zkdata/myid

第五步：建立软连接

ln -s /export/servers/apache-zookeeper-3.5.7-bin /export/servers/zookeeper

第六步：配置环境变量

vim /etc/profile.d/my_env.sh

添加以下内容

#ZOOKEEPER_HOME

export ZOOKEEPER_HOME=/export/servers/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

第七步：安装包分发并修改myid的值

安装包分发到其他机器

第一台机器上面执行以下两个命令

scp -r /export/servers/apache-zookeeper-3.5.7-bin/ hadoop02:/export/servers/

scp -r /export/servers/apache-zookeeper-3.5.7-bin/ hadoop03:/export/servers/

第二台机器上修改myid的值为2

echo 2 > /export/servers/apache-zookeeper-3.5.7-bin/zkdata/myid

第三台机器上修改myid的值为3

echo 3 > /export/servers/apache-zookeeper-3.5.7-bin/zkdata/myid

分别在第二、三台上创建软连接

ln -s /export/servers/apache-zookeeper-3.5.7-bin /export/servers/zookeeper

分发一下环境变量文件到hadoop02,hadoop03上

scp -r /etc/profile.d/my_env.sh hadoop02:/etc/profile.d

scp -r /etc/profile.d/my_env.sh hadoop03:/etc/profile.d

分别在第二、三台上

source /etc/profile

第八步：三台机器启动zookeeper服务

这个命令三台机器都要执行

/export/servers/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start

查看启动状态

/export/servers/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status

ZooKeeper shell

客户端连接

运行 zkCli.sh –server ip 进入命令行工具。

输入help，输出zk shell提示：

shell基本操作

创建节点

create [-s] [-e] path data acl

其中，-s或-e分别指定节点特性，顺序或临时节点，若不指定，则表示持久节点；acl用来进行权限控制。

创建顺序节点：

创建临时节点：

创建永久节点：

读取节点

与读取相关的命令有ls 命令和get 命令，ls命令可以列出Zookeeper指定节点下的所有子节点，只能查看指定节点下的第一级的所有子节点；get命令可以获取Zookeeper指定节点的数据内容和属性信息。

ls path [watch]

get path [watch]

Ls -s path [watch]

更新节点

set path data [version]

data就是要更新的新内容，version表示数据版本。

现在dataVersion已经变为1了，表示进行了更新。

删除节点

delete path [version]

若删除节点存在子节点，那么无法删除该节点，必须先删除子节点，再删除父节点。

deleteall path 可以递归删除节点。

其他命令

history : 列出命令历史

该命令可以重新执行指定命令编号的历史命令,命令编号可以通过history查看

ZooKeeper数据模型

ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间，都是采用树形层次结构，ZooKeeper树中的每个节点被称为—Znode。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处：
Znode兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构，又像目录一样可以作为路径标识的一部分，并可以具有子Znode。用户对Znode具有增、删、改、查等操作（权限允许的情况下）。
Znode具有原子性操作，读操作将获取与节点相关的所有数据，写操作也将替换掉节点的所有数据。另外，每一个节点都拥有自己的ACL(访问控制列表)，这个列表规定了用户的权限，即限定了特定用户对目标节点可以执行的操作。
Znode存储数据大小有限制。ZooKeeper虽然可以关联一些数据，但并没有被设计为常规的数据库或者大数据存储，相反的是，它用来管理调度数据，比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的共同特性就是它们都是很小的数据，通常以KB为大小单位。ZooKeeper的服务器和客户端都被设计为严格检查并限制每个Znode的数据大小至多1M，当时常规使用中应该远小于此值。
Znode通过路径引用，如同Unix中的文件路径。路径必须是绝对的，因此他们必须由斜杠字符来开头。除此以外，他们必须是唯一的，也就是说每一个路径只有一个表示，因此这些路径不能改变。在ZooKeeper中，路径由Unicode字符串组成，并且有一些限制。字符串"/zookeeper"用以保存管理信息，比如关键配额信息。

数据结构图