41 Hadoop的HA机制

简介: 41 Hadoop的HA机制
HA的运作机制

1)hadoop-HA集群运作机制介绍

  • 所谓HA,即高可用(7*24小时不中断服务)
  • 实现高可用最关键的是消除单点故障
  • hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

2)HDFS的HA机制详解

通过双namenode消除单点故障

双namenode协调工作的要点:

  • A、元数据管理方式需要改变:
    1.内存中各自保存一份元数据
    2.Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
    3.两个namenode都可以读取edits
    4.共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)
  • B、需要一个状态管理功能模块
    1.实现了一个zkfailover,常驻在每一个namenode所在的节点
    2.每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识
    3.当需要进行状态切换时,由zkfailover来负责切换
    4.切换时需要防止brain split现象的发生
HDFS-HA图解

目录
相关文章
|
5月前
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
72 0
|
存储 分布式计算 算法
Hadoop压缩机制及实操
Hadoop压缩机制及实操
169 0
Hadoop压缩机制及实操
|
存储 分布式计算 安全
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
391 0
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
|
机器学习/深度学习 存储 分布式计算
【Hadoop生态】HDFS的元数据管理机制二
【Hadoop生态】HDFS的元数据管理机制二
73 0
|
存储 XML 分布式计算
【Hadoop生态】HDFS的元数据管理机制一
【Hadoop生态】HDFS的元数据管理机制一
197 0
【Hadoop生态】HDFS的元数据管理机制一
|
存储 分布式计算 自然语言处理
|
存储 资源调度 分布式计算
hadoop之yarn的工作机制(14)
hadoop之yarn的工作机制(14)
194 0
hadoop之yarn的工作机制(14)
|
存储 分布式计算 Hadoop
Hadoop中的MapReduce框架原理、Shuffle机制、Partition分区、自定义Partitioner步骤、在Job驱动中,设置自定义Partitioner、Partition 分区案例
Hadoop中的MapReduce框架原理、Shuffle机制、Partition分区、自定义Partitioner步骤、在Job驱动中,设置自定义Partitioner、Partition 分区案例
Hadoop中的MapReduce框架原理、Shuffle机制、Partition分区、自定义Partitioner步骤、在Job驱动中,设置自定义Partitioner、Partition 分区案例
|
存储 分布式计算 Hadoop
Hadoop中的FileInputFormat切片机制、FileInputFormat切片大小的参数配置、TextInputFormat、CombineTextInputFormat切片机制
Hadoop中的FileInputFormat切片机制、FileInputFormat切片大小的参数配置、TextInputFormat、CombineTextInputFormat切片机制
Hadoop中的FileInputFormat切片机制、FileInputFormat切片大小的参数配置、TextInputFormat、CombineTextInputFormat切片机制
|
存储 XML 缓存
Hadoop中的MapReduce框架原理、Job提交流程源码断点在哪断并且介绍相关源码、切片与MapTask并行度决定机制、MapTask并行度决定机制
Hadoop中的MapReduce框架原理、Job提交流程源码断点在哪断并且介绍相关源码、切片与MapTask并行度决定机制、MapTask并行度决定机制
Hadoop中的MapReduce框架原理、Job提交流程源码断点在哪断并且介绍相关源码、切片与MapTask并行度决定机制、MapTask并行度决定机制

相关实验场景

更多