HA的运作机制
1)hadoop-HA集群运作机制介绍
- 所谓HA,即高可用(7*24小时不中断服务)
- 实现高可用最关键的是消除单点故障
- hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA
2)HDFS的HA机制详解
通过双namenode消除单点故障
双namenode协调工作的要点:
- A、元数据管理方式需要改变:
1.内存中各自保存一份元数据
2.Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
3.两个namenode都可以读取edits
4.共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现) - B、需要一个状态管理功能模块
1.实现了一个zkfailover,常驻在每一个namenode所在的节点
2.每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识
3.当需要进行状态切换时,由zkfailover来负责切换
4.切换时需要防止brain split现象的发生
HDFS-HA图解