2021年大数据ZooKeeper(一):ZooKeeper基本知识

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 2021年大数据ZooKeeper(一):ZooKeeper基本知识

Zookeeper基本知识



ZooKeeper概述


Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。


ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。


ZooKeeper特性


  1. 全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连接到哪个服务器,展示的数据都是一致的,这是最重要的特征;


  1. 可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。


  1. 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。


  1. 数据更新原子性:一次数据更新要么成功(半数以上节点成功),要么失败,不存在中间状态;


  1. 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。


ZooKeeper集群角色


image.png


Leader:


Zookeeper集群工作的核心


事务请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性;


集群内部各个服务器的调度者。


对于create,setData,delete等有写操作的请求,则需要统一转发给leader处理,leader需要决定编号、执行操作,这个过程称为一个事务。


Follower:


处理客户端非事务(读操作)请求,转发事务请求给Leader;


参与集群Leader选举投票。


此外,针对访问量比较大的zookeeper集群,还可新增观察者角色。


Observer:


观察者角色,观察Zookeeper集群的最新状态变化并将这些状态同步过来,其对于非事务请求可以进行独立处理,对于事务请求,则会转发给Leader服务器进行处理。


不会参与任何形式的投票只提供非事务服务,通常用于在不影响集群事务处理能力的前提下提升集群的非事务处理能力。


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
7月前
|
存储 大数据 Java
大数据Zookeeper组件 2
大数据Zookeeper组件
133 0
|
7月前
|
大数据 关系型数据库 MySQL
大数据Zookeeper组件 1
大数据Zookeeper组件
40 0
|
8月前
|
存储 数据采集 分布式计算
hadoop离线01--大数据导论、Apache Zookeeper
hadoop离线01--大数据导论、Apache Zookeeper
|
分布式计算 Java Hadoop
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
大数据 zookeeper 常用启动命令
大数据 zookeeper 常用启动命令
|
Ubuntu Java 大数据
大数据Zookeeper-03.集群环境安装
Zookeeper集群环境安装
146 0
大数据Zookeeper-03.集群环境安装
|
Ubuntu Java 大数据
大数据Zookeeper-02.伪分布式安装
Zookeeper伪分布式安装
190 0
大数据Zookeeper-02.伪分布式安装
|
Ubuntu Java 大数据
大数据Zookeeper-01.单机环境安装
Zookeeper单机环境安装
89 0
大数据Zookeeper-01.单机环境安装
|
监控 Java 大数据
大数据编程技术基础实验六:ZooKeeper实验——进程协作
大数据基础实验六,使用ZooKeeper了解并实践进程协作的操作。
184 0
大数据编程技术基础实验六:ZooKeeper实验——进程协作
|
分布式计算 大数据 Spark