41 Hadoop的HA机制

简介: 41 Hadoop的HA机制
HA的运作机制

1)hadoop-HA集群运作机制介绍

  • 所谓HA,即高可用(7*24小时不中断服务)
  • 实现高可用最关键的是消除单点故障
  • hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

2)HDFS的HA机制详解

通过双namenode消除单点故障

双namenode协调工作的要点:

  • A、元数据管理方式需要改变:
    1.内存中各自保存一份元数据
    2.Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
    3.两个namenode都可以读取edits
    4.共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)
  • B、需要一个状态管理功能模块
    1.实现了一个zkfailover,常驻在每一个namenode所在的节点
    2.每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识
    3.当需要进行状态切换时,由zkfailover来负责切换
    4.切换时需要防止brain split现象的发生
HDFS-HA图解

目录
相关文章
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
285 0
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
371 1
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
401 1
|
分布式计算 资源调度 Hadoop
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点(bigdata112、bigdata113、bigdata114和bigdata115)上部署HDFS高可用(HA)架构,并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程,确保部署成功。
616 0
|
存储 分布式计算 监控
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
分布式系统详解--框架(Hadoop-HDFS的HA搭建及测试)
330 0
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
1334 0
|
分布式计算 Hadoop 大数据
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(下)
大数据 | Hadoop HA高可用搭建保姆级教程(大二学长的万字笔记)(下)
567 0
|
机器学习/深度学习 存储 分布式计算
Hadoop学习---11、HA高可用
Hadoop学习---11、HA高可用
|
存储 分布式计算 安全
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
934 0
Hadoop之HDFS的集群之间的数据复制、归档机制和安全模式
|
存储 分布式计算 运维
hadoop HA高可用集群实战
大数据实战:hadoop HA高可用集群
hadoop HA高可用集群实战

相关实验场景

更多