HA功能中ZKFC对NN状态的控制

简介: ZKFC : zookeeper FailoverController NN : name node     Hadoop 2.0 HA架构图:     FC是要和NN一一对应的,两个NN就要部署两个FC。

ZKFC : zookeeper FailoverController

NN : name node

 

 

Hadoop 2.0 HA架构图:

 

HA架构图

 

FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个 特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。

 

ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。

 

ZKFC的主类是org.apache.hadoop.hdfs.tools.DFSZKFailoverController

 

  • formatZK

 

创建特定目录,作为后续写节点状态的父路径。如果该目录已经存在,清理原有目录为空目录。

 

  •  HealthMonitor

 

在一个独立线程中,通过RPC方式,周期性的调用HAServiceProtocol接口的monitorHealth方法,获取NN的状态。并把状态报告给ActiveStandbyElector 

 

  •  ActiveStandbyElector

 

ActiveStandbyElector 负责判断哪个NN可以成为Active。它通过ZK,看哪个能够成功的创建一个特定的ephemeral lock file (znode),哪个就是Active,其它的成为Standby。在一个节点被通知变成Active后,它必须确保自己能够提供一致性的服务(数据一致性),否则它需要主动退出选举。

 

如果一个ActiveHealthMonitor监控到状态异常,这里会作出判断,先通过Fenceing功能关闭它(确保关闭或者不能提供服务),然后在ZK上删除它对应ZNode

 

发送上述事件后,在另外一台机器上的ZKFC中的ActiveStandbyElector 会收到事件,并重新进行选举(尝试创建特定ZNode),它将获得成功并更改NN中状态,从而实现Active节点的变更。

 

相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC,快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
目录
相关文章
|
存储 计算机视觉
10位和16位YUV视频格式
10位和16位YUV视频格式
777 0
|
安全 数据安全/隐私保护
谨防二维码陷阱:揭秘网络钓鱼攻击与保护措施
当我们深入了解二维码的世界时,了解它们的特性和潜在风险变得至关重要,揭示了伴随其广泛普及的更为阴暗的一面
806 1
|
数据可视化
如何减少低效沟通?小型团队信息管理的实战方法
在小型团队中,信息过载常导致沟通混乱和任务执行低效。本文探讨了信息过载的根源,并提出优化策略:统一沟通渠道、结构化任务指令、设定消息优先级以及使用可视化工具如板栗看板,以减少信息碎片化、提高执行精准度、避免干扰专注工作并让任务状态透明,从而提升整体协作效率。
703 59
|
开发工具 git Windows
太阳当空照-Windows服务化方式NSSM应用
太阳当空照-Windows服务化方式NSSM应用
827 0
|
机器学习/深度学习 人工智能 监控
生成式 AI 与 LangCHain(二)(4)
生成式 AI 与 LangCHain(二)
1156 5
|
Android开发
Android Gradle开发—脚本实现自动打包后复制一份APK文件,并修改APK名称,到指定目录作备份
Android Gradle开发—脚本实现自动打包后复制一份APK文件,并修改APK名称,到指定目录作备份
1366 0
|
小程序
TDesign电商小程序模板解析02-首页功能
TDesign电商小程序模板解析02-首页功能
|
JSON 监控 数据挖掘
阿里巴巴商品详情接口技术深度解析
阿里巴巴商品详情接口允许开发者通过API获取平台商品的详细信息,如名称、价格、库存等,支持实时更新和高并发访问。使用流程包括注册认证、获取AccessToken、构造请求、发送及解析响应。应用涵盖商品展示、数据分析、库存管理。开发者需注意合规使用、数据安全和性能优化。
399 0
|
存储 SQL 网络安全
[网络安全]DVWA之Brute Force攻击姿势及解题详析合集
[网络安全]DVWA之Brute Force攻击姿势及解题详析合集
549 0
[网络安全]DVWA之Brute Force攻击姿势及解题详析合集