【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)

阿里云Kuafa RPC系统

夸父(Kuafu)是飞天平台内核中负责网络通信的模块,它提供了一 个 RPC 的接口 , 简化编写基于网络的分布式应用

夸父的设计目标是提供高可用(7×24小时)、大吞吐量(Gigabyte)、高效率、易用(简明 API、多种协议和编程接口)的 RPC服务

Hadoop IPC的应用

在 Hadoop系统中,Hadoop IPC为 HDFS、MapReduce提供了高效的 RPC 通信机制

Hadoop IPC 的 Server 端相对比较复杂, 包括 Listener、Reader、Handler 和 Responder 等多种类型的线程

一、分布式协同系统

当前的大规模分布式系统涉及大量的机器,这些机器之间需要进行大量的网络通信 以及各个节点之间的消息通信协同

1:Chubby锁服务

Chubby是Google公司研发的针对分布式系统协调管理的粗粒度服务,一个Chubby实例大约可以负责一万台4核CPU机器之间对资源的协同管理,这种服务的主要功能是让众多客户端程序进行相互之间的同步,并对系统环境或资源达成一致的认知

Chubby的理论基础是 Paxos(一致性协议),Paxos是在完全分布式环境下不同客户端能够通过交互通信并投票对于某个决定达成一致的算法

Chubby 的设计目标基于以下几点 : 高可用性 、高可靠性 、支持粗粒度的 建议性锁服务、支持小规模文件直接存储

Chubby整体架构共有5台服务器,其中一个是主服务器,客户端与服务器之间使用RPC交互,内其他服务器纯粹作为主服务器不可用后的替代品,而ZooKeeper的多余服务器均是提供就近服务的,也就是服务器会根据地理位置与网络情况来选择对哪些客户端给予服务

2:ZooKeeper

ZooKeper是 Yahoo! 开发的一套开源高吞吐分布式协调系统

分布式应用中的各节点可以通过ZooKeeper这个第三方来确保双方的同步,比如一个节点是发送,另一个节点是接收,但发送节点需要确认接收节点成功收到这个信息,因而就可以通过与一个可靠的第三方交互来获取接收节点的消息接收状态

ZooKeeper 是由多台同构服务器构成的一个集群 ,共用信息存储在集群系统 中,共用信息采用树形结构来存储

3:阿里云Nuwa协同系统

女娲(Nuwa)系统为飞天提供高可用的协调服务(Coordination Service),是构建各类分布式应用的核心服务

女娲系统基于类 Paxos 协议 ,由多个女娲 Server 以类似文件系统的树形结构存储数据,提供高可用、高并发用户请求的处理能力

4:ZooKeeper在HDFS高可用方案中的使用

HDFS由三个模块构成,分别包括Client,NameNode,DataNode

NameNode负责管理所有的DataNode节点,保存block和DataNode之间的对应信息,Client读取文件和写入文件都需要NameNode节点的参与,因此NameNode发挥着至关重要的作用。

维护HDFS高可用基于以下两个目的

1:在出现NameNode节点故障时HDFS仍然可以对外提供数据的读取和写入服务

2:HDFS会出现版本的更新迭代,以保证HDFS在更新过程中仍然可以对外提供服务

一种解决HDFS高可用方法是采用ZK Failover Controller的方法 具体结构如下

采用ZooKeeper设计HDFS高可用方案基于以下几点

1:提供了小规模的任意数据信息的强一致性

2:可以在ZooKeeper集群中创建一个临时的znode节点,当创建该znode节点时的Client失效时,该临时znode节点会自动删除

3:能够监控ZooKeeper集群中的一个znode节点的状态发生改变 并被异步通知

创作不易 觉得有帮助请点赞关注收藏~~~

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
4月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
240 6
|
4月前
|
消息中间件 分布式计算 关系型数据库
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
大数据-140 - ClickHouse 集群 表引擎详解5 - MergeTree CollapsingMergeTree 与其他数据源 HDFS MySQL
80 0
|
3月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
3月前
|
存储 弹性计算 分布式计算
云计算在大数据处理中的优势与挑战
云计算在大数据处理中的优势与挑战
|
3月前
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
952 0
|
4月前
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
81 3
|
4月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
118 5
|
4月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
52 4
|
4月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
230 5
|
4月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
224 4