ZooKeeper分布式架构实战系列(01):ZooKeeper概念、功能、架构、与使用场景和面试题

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: ZooKeeper是分布式协调服务,开源分布式架构领域不可或缺的技术,使用非常的广泛,比如常见的Hadoop大数据架构,阿里巴巴的Dubbo分布式架构,Spring Cloud微服务架构等都有涉及。BAT名企面试中也是经常作为考点。

ZooKeeper是分布式协调服务,开源分布式架构领域不可或缺的技术组件,使用非常的广泛,我们在一些分布式架构的文章中经常看到。
比如常见的Hadoop大数据架构,阿里巴巴的Dubbo分布式架构,Spring Cloud微服务架构等都有涉及。BAT名企面试中也是经常作为考点。重要性不言而喻,作为互联网公司的架构师,不懂ZooKeeper很难过关。
image

今天我们来一起系统学习《ZooKeeper分布式架构实战系列》,包括ZooKeeper概念、功能、架构、与使用场景和面试题,与各种技术组件的搭配使用,部署、运维与开发实战。
1、ZooKeeper 名字由来
ZooKeeper 在分布式领域大名鼎鼎,但是很多人不理解为什么叫这个名字。其实却是很痛苦,我自己第一次听说也是很久不理解。
这和ZooKeeper 最初诞生的时候的设计目标有关系,ZooKeeper 最早是为Hadoop大数据生态系统设计的。我们今天基本都是用在其他的分布式系统场景下,所以很难去理解这个奇怪的名字。
ZooKeeper :动物饲养员,动物管理员,也就是现在Logo的样子,不过这个Logo还不够形象,会让人感觉是个挖下水道的工人。
作为中国程序员,很难理解老外起名字的套路,为什么一个好好的分布式工具,叫这么奇怪的名字?
Hadoop本意,大象,Impala 黑斑羚,Pig猪八戒二师弟。Hive蜜蜂等,Hadoop大数据生态的开源框架基本都是动物的名称,所以就有了这个称谓。ZooKeeper 帮忙管理大数据分布式应用系统中的不同动物组件。
image
2011年美国上映的一部电影《ZooKeeper 》,Kevin James主演的动物管理员,讲的是一个屌丝饲养员在动物的神助攻下追到金发美女的浪漫爱情故事。中国大陆翻译为:动物园看守。这个名字霸气,让你听了就感觉动物是在坐牢。台湾的翻译是:全民情兽。哈哈。让人不敢深入想想。
image
不过真正做过ZooKeeper的名人到有一位,就是德云社相声演员:孙越(岳云鹏的搭档,大胖子)。之前在北京动物园饲养大象,一点都不浪漫。最后回到德云社说相声,发财娶老婆结婚。
2、ZooKeeper核心概念
ZooKeeper是 Apache基金会重要的开源项目,主要作用是提供分布式架构的协调工作。最初的设计目标是为Hadoop大数据生态服务。
官方地址:https://zookeeper.apache.org/
Apache ZooKeeper致力于开发和维护开源服务器,实现高度可靠的分布式协调架构。
ZooKeeper用于分布式协调,目标是用来构建高可用的分布式应用程序的高性能协调程序。
ZooKeeper提供了一种集中式服务,用于维护配置信息,命名,分布式同步和组服务。 所有这些类型的服务都以分布式应用程序的某种形式使用。ZooKeeper是一种用于分布式应用程序的高性能协调服务。 简单的界面中公开了常用服务API - 例如命名,配置管理,同步和组服务 - 因此我们不必从0开始开发一个这样的工具。 我们可以使用ZooKeeper现成的方法来实现共识,组管理,领导者选举和协议。 我们也可以根据自己的特定需求进行二次扩展开发。比如著名的阿里开源的RPC框架Dubbo就使用了ZooKeeper。这样可以节约大量的类似工具的开发成本。

3、ZooKeeper分布式架构
今天来看使用到ZooKeeper的地方必然是分布式架构系统,而且没有自身的高可用机制,借助ZooKeeper来实现,什么意思?就好比动物,没有人管理、喂养,会死掉的,也就是没有人管理的应用,除了没有可能整个系统就垮掉了。ZooKeeper能管理、发现、解决这些问题。
image
ZooKeeper很简单。 ZooKeeper允许分布式进程通过共享的层级命名空间相互协调,该命名空间的组织方式与标准文件系统类似。 名称空间由数据寄存器组成 - 称为znodes - 这些与文件和目录类似。 与专为存储而设计的典型文件系统不同,ZooKeeper数据保存在内存中,这意味着ZooKeeper是高性能协调协调服务程序,可以实现高吞吐量和低延迟数量。
image
ZooKeeper实现非常重视高性能,高可用性,严格有序的访问。 ZooKeeper可以在大型分布式系统中使用。 支持集群模式,可靠性方面使其不会成为单点故障。 严格的排序意味着可以在客户端实现复杂的同步原语,也就是严格的数据同步模式,。
4、ZooKeeper的典型场景
ZooKeeper在分布式系统架构中,经常可以看到,比如Hadoop大数据分布式架构,Dubbo分布式架构,Kafka消息队列分布式架构,Spring Cloud微服务架构中都有,Solr搜索引擎分布式架构等都可以使用。几乎开源分布式架构都有关系。
image
5、ZooKeeper的功能特新
ZK提供了丰富的功能特性,当然最核心的还是分布式协调,为了完整性,我们列举了所有的功能清单:
1.Naming service 命名服务
2.Updating the node’s status 更新节点状态
3.Managing the cluster 管理集群
4.Automatic failure recovery 自动故障恢复
5.Sequential Consistency 顺序一致性
6.Single System Image 单一系统视图
7.Timeliness 及时性

ZK使用简单,可靠,性能高,速度快,保证消息有序,操作的原子性,数据状态一致性。

6、ZooKeeper的核心算法
为了保障ZooKeeper分布式协调服务的高可用,ZooKeeper提供了集群模式,默认有一个Leader,领导,其他是Follower,备选。集群Leader出错,会快速进行选举,选择新的Leader,响应客户的程序的请求。
image
7、ZooKeeper的通信协议
ZooKeeper默认的通信协议是TCP,内部集群选举的协议是广播。客户端连接到单个ZooKeeper服务器。 客户端维护TCP连接,通过该连接发送请求,获取响应,获取监视事件以及发送心跳。 如果与服务器的TCP连接中断,则客户端将连接到其他服务器。
Zookeeper的选举算法使用了Zookeeper Atomic Broadcast协议,(简称ZAB,Zookeeper原子消息广播协议)作为数据一致性同步的核心算法的通信协议。ZAB是一种与Paxos不同的协议,后面我们会专门来讲解这个过程。

8、ZooKeeper的典型公司
几乎著名的互联网公司都在使用Zookeeper:
阿里巴巴
蚂蚁金服
腾讯
华为
今日头条
Google
Yahoo
Facebook
eBay
Twitter
Netflix
等名企都在使用。

我们以后慢慢来详细学习,下一个文章我们学习,如何在Linux系统上安装Zookeeper。逐步深入学习ZooKeeper实战开发。
参考资料:
1、http://zookeeper.apache.org/
2、https://movie.douban.com/photos/photo/1264463926
阿里巴巴Java群超过4500人
进群方式:钉钉扫码入群
image
阿里巴巴MongoDB群
image

相关文章
|
2月前
|
人工智能 监控 前端开发
支付宝 AI 出行助手高效研发指南:4 人团队的架构迁移与提效实战
支付宝「AI 出行助手」是一款集成公交、地铁、火车票、机票、打车等多项功能的智能出行产品。
399 21
支付宝 AI 出行助手高效研发指南:4 人团队的架构迁移与提效实战
|
2月前
|
监控 Java API
Spring Boot 3.2 结合 Spring Cloud 微服务架构实操指南 现代分布式应用系统构建实战教程
Spring Boot 3.2 + Spring Cloud 2023.0 微服务架构实践摘要 本文基于Spring Boot 3.2.5和Spring Cloud 2023.0.1最新稳定版本,演示现代微服务架构的构建过程。主要内容包括: 技术栈选择:采用Spring Cloud Netflix Eureka 4.1.0作为服务注册中心,Resilience4j 2.1.0替代Hystrix实现熔断机制,配合OpenFeign和Gateway等组件。 核心实操步骤: 搭建Eureka注册中心服务 构建商品
472 3
|
2月前
|
消息中间件 Java 数据库
Java 基于 DDD 分层架构实战从基础到精通最新实操全流程指南
本文详解基于Java的领域驱动设计(DDD)分层架构实战,结合Spring Boot 3.x、Spring Data JPA 3.x等最新技术栈,通过电商订单系统案例展示如何构建清晰、可维护的微服务架构。内容涵盖项目结构设计、各层实现细节及关键技术点,助力开发者掌握DDD在复杂业务系统中的应用。
413 0
|
21天前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
21天前
|
监控 Cloud Native Java
Spring Boot 3.x 微服务架构实战指南
🌟蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕Spring Boot 3.x与微服务架构,探索云原生、性能优化与高可用系统设计。以代码为笔,在二进制星河中谱写极客诗篇。关注我,共赴技术星辰大海!(238字)
Spring Boot 3.x 微服务架构实战指南
|
25天前
|
消息中间件 数据采集 NoSQL
秒级行情推送系统实战:从触发、采集到入库的端到端架构
本文设计了一套秒级实时行情推送系统,涵盖触发、采集、缓冲、入库与推送五层架构,结合动态代理IP、Kafka/Redis缓冲及WebSocket推送,实现金融数据低延迟、高并发处理,适用于股票、数字货币等实时行情场景。
151 3
秒级行情推送系统实战:从触发、采集到入库的端到端架构
|
12天前
|
XML 人工智能 JSON
意图识别准确率97.6%!高阶多轮对话RAG架构实战分享​
本文系统解析NLU中意图识别与槽位抽取的4种技术方案:从提示词工程入门,到节点分离、RAG增强,再到多轮对话优化,覆盖不同场景的选型策略,助力AI智能体精准理解用户需求。
331 3
|
24天前
|
设计模式 人工智能 API
AI智能体开发实战:17种核心架构模式详解与Python代码实现
本文系统解析17种智能体架构设计模式,涵盖多智能体协作、思维树、反思优化与工具调用等核心范式,结合LangChain与LangGraph实现代码工作流,并通过真实案例验证效果,助力构建高效AI系统。
266 7
|
2月前
|
机器学习/深度学习 算法 文件存储
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
神经架构搜索(NAS)正被广泛应用于大模型及语言/视觉模型设计,如LangVision-LoRA-NAS、Jet-Nemotron等。本文回顾NAS核心技术,解析其自动化设计原理,探讨强化学习、进化算法与梯度方法的应用与差异,揭示NAS在大模型时代的潜力与挑战。
473 6
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
|
1月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。