ZooKeeper分布式架构实战系列(01):ZooKeeper概念、功能、架构、与使用场景和面试题-阿里云开发者社区

开发者社区> 徐雷frank> 正文

ZooKeeper分布式架构实战系列(01):ZooKeeper概念、功能、架构、与使用场景和面试题

简介: ZooKeeper是分布式协调服务,开源分布式架构领域不可或缺的技术,使用非常的广泛,比如常见的Hadoop大数据架构,阿里巴巴的Dubbo分布式架构,Spring Cloud微服务架构等都有涉及。BAT名企面试中也是经常作为考点。
+关注继续查看

ZooKeeper是分布式协调服务,开源分布式架构领域不可或缺的技术组件,使用非常的广泛,我们在一些分布式架构的文章中经常看到。
比如常见的Hadoop大数据架构,阿里巴巴的Dubbo分布式架构,Spring Cloud微服务架构等都有涉及。BAT名企面试中也是经常作为考点。重要性不言而喻,作为互联网公司的架构师,不懂ZooKeeper很难过关。
image

今天我们来一起系统学习《ZooKeeper分布式架构实战系列》,包括ZooKeeper概念、功能、架构、与使用场景和面试题,与各种技术组件的搭配使用,部署、运维与开发实战。
1、ZooKeeper 名字由来
ZooKeeper 在分布式领域大名鼎鼎,但是很多人不理解为什么叫这个名字。其实却是很痛苦,我自己第一次听说也是很久不理解。
这和ZooKeeper 最初诞生的时候的设计目标有关系,ZooKeeper 最早是为Hadoop大数据生态系统设计的。我们今天基本都是用在其他的分布式系统场景下,所以很难去理解这个奇怪的名字。
ZooKeeper :动物饲养员,动物管理员,也就是现在Logo的样子,不过这个Logo还不够形象,会让人感觉是个挖下水道的工人。
作为中国程序员,很难理解老外起名字的套路,为什么一个好好的分布式工具,叫这么奇怪的名字?
Hadoop本意,大象,Impala 黑斑羚,Pig猪八戒二师弟。Hive蜜蜂等,Hadoop大数据生态的开源框架基本都是动物的名称,所以就有了这个称谓。ZooKeeper 帮忙管理大数据分布式应用系统中的不同动物组件。
image
2011年美国上映的一部电影《ZooKeeper 》,Kevin James主演的动物管理员,讲的是一个屌丝饲养员在动物的神助攻下追到金发美女的浪漫爱情故事。中国大陆翻译为:动物园看守。这个名字霸气,让你听了就感觉动物是在坐牢。台湾的翻译是:全民情兽。哈哈。让人不敢深入想想。
image
不过真正做过ZooKeeper的名人到有一位,就是德云社相声演员:孙越(岳云鹏的搭档,大胖子)。之前在北京动物园饲养大象,一点都不浪漫。最后回到德云社说相声,发财娶老婆结婚。
2、ZooKeeper核心概念
ZooKeeper是 Apache基金会重要的开源项目,主要作用是提供分布式架构的协调工作。最初的设计目标是为Hadoop大数据生态服务。
官方地址:https://zookeeper.apache.org/
Apache ZooKeeper致力于开发和维护开源服务器,实现高度可靠的分布式协调架构。
ZooKeeper用于分布式协调,目标是用来构建高可用的分布式应用程序的高性能协调程序。
ZooKeeper提供了一种集中式服务,用于维护配置信息,命名,分布式同步和组服务。 所有这些类型的服务都以分布式应用程序的某种形式使用。ZooKeeper是一种用于分布式应用程序的高性能协调服务。 简单的界面中公开了常用服务API - 例如命名,配置管理,同步和组服务 - 因此我们不必从0开始开发一个这样的工具。 我们可以使用ZooKeeper现成的方法来实现共识,组管理,领导者选举和协议。 我们也可以根据自己的特定需求进行二次扩展开发。比如著名的阿里开源的RPC框架Dubbo就使用了ZooKeeper。这样可以节约大量的类似工具的开发成本。

3、ZooKeeper分布式架构
今天来看使用到ZooKeeper的地方必然是分布式架构系统,而且没有自身的高可用机制,借助ZooKeeper来实现,什么意思?就好比动物,没有人管理、喂养,会死掉的,也就是没有人管理的应用,除了没有可能整个系统就垮掉了。ZooKeeper能管理、发现、解决这些问题。
image
ZooKeeper很简单。 ZooKeeper允许分布式进程通过共享的层级命名空间相互协调,该命名空间的组织方式与标准文件系统类似。 名称空间由数据寄存器组成 - 称为znodes - 这些与文件和目录类似。 与专为存储而设计的典型文件系统不同,ZooKeeper数据保存在内存中,这意味着ZooKeeper是高性能协调协调服务程序,可以实现高吞吐量和低延迟数量。
image
ZooKeeper实现非常重视高性能,高可用性,严格有序的访问。 ZooKeeper可以在大型分布式系统中使用。 支持集群模式,可靠性方面使其不会成为单点故障。 严格的排序意味着可以在客户端实现复杂的同步原语,也就是严格的数据同步模式,。
4、ZooKeeper的典型场景
ZooKeeper在分布式系统架构中,经常可以看到,比如Hadoop大数据分布式架构,Dubbo分布式架构,Kafka消息队列分布式架构,Spring Cloud微服务架构中都有,Solr搜索引擎分布式架构等都可以使用。几乎开源分布式架构都有关系。
image
5、ZooKeeper的功能特新
ZK提供了丰富的功能特性,当然最核心的还是分布式协调,为了完整性,我们列举了所有的功能清单:
1.Naming service 命名服务
2.Updating the node’s status 更新节点状态
3.Managing the cluster 管理集群
4.Automatic failure recovery 自动故障恢复
5.Sequential Consistency 顺序一致性
6.Single System Image 单一系统视图
7.Timeliness 及时性

ZK使用简单,可靠,性能高,速度快,保证消息有序,操作的原子性,数据状态一致性。

6、ZooKeeper的核心算法
为了保障ZooKeeper分布式协调服务的高可用,ZooKeeper提供了集群模式,默认有一个Leader,领导,其他是Follower,备选。集群Leader出错,会快速进行选举,选择新的Leader,响应客户的程序的请求。
image
7、ZooKeeper的通信协议
ZooKeeper默认的通信协议是TCP,内部集群选举的协议是广播。客户端连接到单个ZooKeeper服务器。 客户端维护TCP连接,通过该连接发送请求,获取响应,获取监视事件以及发送心跳。 如果与服务器的TCP连接中断,则客户端将连接到其他服务器。
Zookeeper的选举算法使用了Zookeeper Atomic Broadcast协议,(简称ZAB,Zookeeper原子消息广播协议)作为数据一致性同步的核心算法的通信协议。ZAB是一种与Paxos不同的协议,后面我们会专门来讲解这个过程。

8、ZooKeeper的典型公司
几乎著名的互联网公司都在使用Zookeeper:
阿里巴巴
蚂蚁金服
腾讯
华为
今日头条
Google
Yahoo
Facebook
eBay
Twitter
Netflix
等名企都在使用。

我们以后慢慢来详细学习,下一个文章我们学习,如何在Linux系统上安装Zookeeper。逐步深入学习ZooKeeper实战开发。
参考资料:
1、http://zookeeper.apache.org/
2、https://movie.douban.com/photos/photo/1264463926
阿里巴巴Java群超过4500人
进群方式:钉钉扫码入群
image
阿里巴巴MongoDB群
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
史上最快! 10小时大数据入门实战(五)-分布式计算框架MapReduce
目录 1 MapReduce概述 2 MapReduce编程模型之通过wordcount词频统计分析案例入门 MapReduce执行流程 InputFormat OutputFormat OutputFormt接口决定了在哪里以及怎样持久化作业结果。
1032 0
阿里云TAC报警中心功能特点与适用场景
TAC报警中心是阿里云SRE团队为专有云精心打造的一站式告警运维平台,覆盖专有云所涉及的云产品、大数据、云实例以及用户所涉及的站点应用等告警,提供告警生命周期管理以及报警外发等解决方案。帮助专有云快速发现、定位异常问题,协助产品团队进行产品优化。
348 0
运维编排场景系列----检测MFA功能状态
应用场景 Multi-Factor Authentication (MFA)是一种简单有效的最佳安全实践方法,它能够在用户名和密码之外再额外增加一层安全保护。当一个主账号下拥有多个子账号时,为了检测主账号下的每个子账户是否开启MFA功能,需要每天或自定义时间去做定时检测,并将未开启MFA功能的用户发送给指定的钉钉用户。
2119 0
史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS
HDFS 环境搭建 HDFS 伪分布式环境搭建 CentOS 环境安装步骤 MacOS安装环境 安装jd...
1306 0
Apache ShardingSphere:由开源驱动的分布式数据库中间件生态
2021 年 7 月 21 日 2021 亚马逊云科技中国峰会现场,SphereEx 联合创始人、Apache ShardingSphere PMC 潘娟受邀参与此次峰会,以《Apache ShardingSphere 分布式数据库中间件开源生态构建》为主题,围绕开源理念扩散、社区建设、ShardingSphere 如何践行 Apache Way 等方面展开了介绍,本文总结自潘娟内容分享。
57 0
SpringBoot 整合 Dubbo&Zookeeper 实现分布式
1. 安装 Zookeeper 环境 Zookeeper 环境搭建&zk命令详解 2. 服务提供者 因为用了父工程的版本管理,所以这里没有显示版本,我把用到的版本给大家分享下。
1463 0
+关注
徐雷frank
1.阿里云栖课堂Java讲师 2.阿里云大学讲师,主讲《MongoDB高级实战》《微服务Spring Cloud设计与开发实战》课程 3.MongoDB中文社区核心专家组 4.《MongoDB实战》第2版译者 5.吉林大学计算机科学学士 上海交通大学硕士
54
文章
456
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载