zookeeper 集群环境搭建及集群选举及数据同步机制

本文为博主原创，未经允许不得转载：

目录：

　　1. 分别创建3个data目录用于存储各节点数据

　　2. 编写myid文件

　　3. 编写配置文件

　    4.分别启动

　　5.分别查看状态

　　6. 检查集群复制情况：

　　7. 集群角色说明

　   8. 选举机制

　　9. 数据同步机制

　　1. 在dataDir配置的目录下分别创建3个data目录用于存储各节点数据

mkdir data
mkdir data/1
mkdir data/2
mkdir data/3

　　2. 编写myid文件

　　　　myid的值是zoo.cfg文件里定义的server.A项A的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较

　　从而判断到底是那个server，只是一个标识作用。

echo 1 > data/1/myid
echo 3 > data/3/myid
echo 2 > data/2/myid

　　3、编写配置文件

　　　　配置语法：　　server.<节点ID>=<ip>:<数据同步端口>:<选举端口>

　　　　　　 节点ID：服务id手动指定1至125之间的数字，并写到对应服务节点的 {dataDir}/myid 文件中。

　　　　　　 IP地址：节点的远程IP地址，可以相同。但生产环境就不能这么做了，因为在同一台机器就无法达到容错的目的。所以这种称作为伪集群。

　　　　　　 数据同步端口：主从同时数据复制端口，（做伪集群时端口号不能重复）。

　　　　　　 远举端口：主从节点选举端口，（做伪集群时端口号不能重复）。

　　　　通过在 zookeeper 每个节点配置所有的上述配置，实现集群环境配置。 以下为伪集群中配置的集群配置

#集群配置

server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

　　conf/zoo1.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data/1
clientPort=2181
#集群配置
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

　　conf/zoo2.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data/2
clientPort=2182
#集群配置
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

　　conf/zoo3.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data/3
clientPort=2183
#集群配置
server.1=127.0.0.1:2887:3887
server.2=127.0.0.1:2888:3888
server.3=127.0.0.1:2889:3889

　　4.分别启动

./bin/zkServer.sh start conf/zoo1.cfg
./bin/zkServer.sh start conf/zoo2.cfg
./bin/zkServer.sh start conf/zoo3.cfg

　　5.分别查看状态

./bin/zkServer.sh status conf/zoo1.cfg
Mode: follower
./bin/zkServer.sh status conf/zoo2.cfg
Mode: leader
./bin/zkServer.sh status conf/zoo3.cfg
Mode: follower

　　6. 检查集群复制情况：

　　分别连接指定节点，zkCli.sh 后加参数-server 表示连接指定IP与端口

./bin/zkCli.sh -server 127.0.0.1:2181
./bin/zkCli.sh -server 127.0.0.1:2182
./bin/zkCli.sh -server 127.0.0.1:2183

　　任意节点中创建数据，查看其它节点已经同步成功。

　　 -server参数后同时连接多个服务节点，并用逗号隔开 127.0.0.1:2181,127.0.0.1:2182

　　7. 集群角色说明

　　　　zookeeper 集群中总共有三种角色，分别是leader（主节点）follower(子节点) observer（次级子节点）

　　　　　　observer配置：

　　　　　　　　只要在集群配置中加上observer后缀即可，示例：server.3=127.0.0.1:2889:3889:observer

　　8. 选举机制

　　　　　　　　投票机制说明：

　　　　　　　　　　第一轮投票全部投给自己

　　　　　　　　　　第二轮投票给myid比自己大的相邻节点

　　　　　　　　　　如果得票超过半数，选举结束。

　　　　　　　　选举触发：

　　　　　　　　　　当集群中的服务器出现已下两种情况时会进行Leader的选举

　　　　　　　　　　　　1.服务节点初始化启动

　　　　　　　　　　　　2.半数以上的节点无法和Leader建立连接

　　9. 数据同步机制

　　　　　　　　zookeeper 的数据同步是为了保证各节点中数据的一至性，同步时涉及两个流程，

　　　　　　一个是正常的客户端数据提交，另一个是集群某个节点宕机在恢复后的数据同步。

　　　　9.1 客户端写入流程说明：

1. client向zk中的server发送写请求，如果该server不是leader，则会将该写请求转发给leader server，leader将请求事务以proposal形式分发给follower；
2. 当follower收到收到leader的proposal时，根据接收的先后顺序处理proposal；
3. 当Leader收到follower针对某个proposal过半的ack后，则发起事务提交，重新发起一个commit的proposal
4. Follower收到commit的proposal后，记录事务提交，并把数据更新到内存数据库；
5. 当写成功后，反馈给client。

　　　　9.2 服务节点初始化同步：

　　　　　　     在集群运行过程当中如果有一个follower节点宕机，由于宕机节点没过半，集群仍然能正常服务。当leader 收到新的客户端请求，此时无法同步给宕机的节点。造成                        数据不一至。为了解决这个问题，当节点启动时，第一件事情就是找当前的Leader，比对数据是否一至。不一至则开始同步,同步完成之后在进行对外提供服务。如何比                      对Leader的数据版本呢，通过ZXID事物ID来确认。比Leader就需要同步。

　　10. 集群的半数机制

　　　　　　ZooKeeper 集群在宕掉几个 ZooKeeper 服务器之后，如果剩下的 ZooKeeper 服务器个数大于宕掉的个数的话整个 ZooKeeper 才依然可用。

标签: zookeeper