备案控制台
开发者社区 大数据 文章 正文

Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）

2024-04-10 56
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介： 【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）

1.高可用简介

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂。
在这里插入图片描述HDFS的高可用实质是主备共享存储系统，不管是zookeeper还是QJM都是这个原理，一下是基于zookeeper的高可用集群搭建。

1.1 高可用整体架构

HDFS 高可用架构如下：
请添加图片描述
HDFS 高可用架构主要由以下组件所构成：

  1. Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务。
  2. 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运行，对 NameNode 的主备切换进行总体控制。ZKFailoverController 能及时检测到 NameNode 的健康状况，在主 NameNode 故障时借助 Zookeeper 实现自动的主备选举和切换，当然 NameNode 目前也支持不依赖于 Zookeeper 的手动主备切换。
  3. Zookeeper 集群：为主备切换控制器提供主备选举支持。
  4. 共享存储系统：共享存储系统是实现 NameNode 的高可用最为关键的部分，共享存储系统保存了 NameNode 在运行过程中所产生的 HDFS 的元数据。主 NameNode 和 NameNode 通过共享存储系统实现元数据同步。在进行主备切换的时候，新的主 NameNode 在确认元数据完全同步之后才能继续对外提供服务。
  5. DataNode 节点：除了通过共享存储系统共享 HDFS 的元数据信息之外，主 NameNode 和备 NameNode 还需要共享 HDFS 的数据块和 DataNode 之间的映射关系。DataNode 会同时向主NameNode 和备 NameNode 上报数据块的位置信息。

    1.2 基于 QJM 的共享存储系统的数据同步机制分析

    目前 Hadoop 支持使用 Quorum Journal Manager (QJM) 或 Network File System (NFS) 作为共享的存储系统，这里以 QJM 集群为例进行说明：Active NameNode 首先把 EditLog 提交到 JournalNode 集群，然后 Standby NameNode 再从 JournalNode 集群定时同步 EditLog，当 Active NameNode 宕机后， Standby NameNode 在确认元数据完全同步之后就可以对外提供服务。

需要说明的是向 JournalNode 集群写入 EditLog 是遵循 “过半写入则成功” 的策略，所以你至少要有 3 个 JournalNode 节点，当然你也可以继续增加节点数量，但是应该保证节点总数是奇数。同时如果有 2N+1 台 JournalNode，那么根据过半写的原则，最多可以容忍有 N 台 JournalNode 节点挂掉。
请添加图片描述

1.3 NameNode 主备切换

NameNode 实现主备切换的流程下图所示：
请添加图片描述

  1. HealthMonitor 初始化完成之后会启动内部的线程来定时调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法，对 NameNode 的健康状态进行检测。
  2. HealthMonitor 如果检测到 NameNode 的健康状态发生变化，会回调 ZKFailoverController 注册的相应方法进行处理。

  3. 如果 ZKFailoverController 判断需要进行主备切换，会首先使用 ActiveStandbyElector 来进行自动的主备选举。

  4. ActiveStandbyElector 与 Zookeeper 进行交互完成自动的主备选举。

  5. ActiveStandbyElector 在主备选举完成后，会回调 ZKFailoverController 的相应方法来通知当前的 NameNode 成为主 NameNode 或备 NameNode。
  6. ZKFailoverController 调用对应 NameNode 的 HAServiceProtocol RPC 接口的方法将NameNode 转换为 Active 状态或 Standby 状态。

1.4 YARN高可用

YARN ResourceManager 的高可用与 HDFS NameNode 的高可用类似，但是 ResourceManager 不像 NameNode ，没有那么多的元数据信息需要维护，所以它的状态信息可以直接写到 Zookeeper 上，并依赖 Zookeeper 来进行主备选举。
请添加图片描述

2.集群规划

按照高可用的设计目标：需要保证至少有两个 NameNode (一主一备) 和 两个 ResourceManager (一主一备) ，同时为满足“过半写入则成功”的原则，需要至少要有 3 个 JournalNode 节点。这里使用三台主机进行搭建，集群规划如下：
请添加图片描述

3.前置条件

  • 所有服务器都安装有JDK；
  • 搭建好 ZooKeeper 集群；
  • 所有服务器之间都配置好 SSH 免密登录。

4.集群配置

在这里插入图片描述

4.1安装

tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz

4.2 配置环境变量

# 编辑profile文件 增加如下配置 执行source命令 使得配置立即生效 
vim /etc/profile
export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2
export PATH=${HADOOP_HOME}/bin:$PATH
source /etc/profile

4.3 修改配置

进入 ${HADOOP_HOME}/etc/hadoop 目录下，修改配置文件。各个配置文件内容如下：

  1. hadoop-env.sh
    # 指定JDK的安装位置
export JAVA_HOME=/usr/java/jdk1.8.0_201/
  2. core-site.xml
    <configuration>
<property>
 <!-- 指定 namenode 的 hdfs 协议文件系统的通信地址 -->
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop001:8020</value>
</property>
<property>
 <!-- 指定 hadoop 集群存储临时文件的目录 -->
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/tmp</value>
</property>
<property>
 <!-- ZooKeeper 集群的地址 -->
 <name>ha.zookeeper.quorum</name>
 <value>hadoop001:2181,hadoop002:2181,hadoop002:2181</value>
</property>
<property>
 <!-- ZKFC 连接到 ZooKeeper 超时时长 -->
 <name>ha.zookeeper.session-timeout.ms</name>
 <value>10000</value>
</property>
</configuration>
  3. hdfs-site.xml
    <configuration>
<property>
 <!-- 指定 HDFS 副本的数量 -->
 <name>dfs.replication</name>
 <value>3</value>
</property>
<property>
 <!-- namenode 节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 -->
 <name>dfs.namenode.name.dir</name>
 <value>/home/hadoop/namenode/data</value>
</property>
<property>
 <!-- datanode 节点数据（即数据块）的存放位置 -->
 <name>dfs.datanode.data.dir</name>
 <value>/home/hadoop/datanode/data</value>
</property>
<property>
 <!-- 集群服务的逻辑名称 -->
   <name>dfs.nameservices</name>
 <value>mycluster</value>
</property>
<property>
 <!-- NameNode ID 列表-->
 <name>dfs.ha.namenodes.mycluster</name>
 <value>nn1,nn2</value>
</property>
<property>
 <!-- nn1 的 RPC 通信地址 -->
 <name>dfs.namenode.rpc-address.mycluster.nn1</name>
 <value>hadoop001:8020</value>
</property>
<property>
 <!-- nn2 的 RPC 通信地址 -->
 <name>dfs.namenode.rpc-address.mycluster.nn2</name>
 <value>hadoop002:8020</value>
</property>
<property>
 <!-- nn1 的 http 通信地址 -->
 <name>dfs.namenode.http-address.mycluster.nn1</name>
 <value>hadoop001:50070</value>
</property>
<property>
 <!-- nn2 的 http 通信地址 -->
 <name>dfs.namenode.http-address.mycluster.nn2</name>
 <value>hadoop002:50070</value>
</property>
<property>
 <!-- NameNode 元数据在 JournalNode 上的共享存储目录 -->
 <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/mycluster</value>
</property>
<property>
 <!-- Journal Edit Files 的存储目录 -->
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/journalnode/data</value>
</property>
<property>
 <!-- 配置隔离机制，确保在任何给定时间只有一个 NameNode 处于活动状态 -->
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
</property>
<property>
 <!-- 使用 sshfence 机制时需要 ssh 免密登录 -->
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/root/.ssh/id_rsa</value>
</property>
<property>
 <!-- SSH 超时时间 -->
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
</property>
<property>
 <!-- 访问代理类，用于确定当前处于 Active 状态的 NameNode -->
 <name>dfs.client.failover.proxy.provider.mycluster</name>
   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
 <!-- 开启故障自动转移 -->
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>
</configuration>
  4. yarn-site.xml
    <configuration>
<property>
 <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在
Yarn 上运行 MapReduce 程序。-->
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
 <!-- 是否启用日志聚合 (可选) -->
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<property>
 <!-- 聚合日志的保存时间 (可选) -->
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
</property>
<property>
 <!-- 启用 RM HA -->
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
</property>
<property>
 <!-- RM 集群标识 -->
 <name>yarn.resourcemanager.cluster-id</name>
 <value>my-yarn-cluster</value>
</property>
<property>
 <!-- RM 的逻辑 ID 列表 -->
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
</property>
<property>
 <!-- RM1 的服务地址 -->
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop002</value>
</property>
<property>
 <!-- RM2 的服务地址 -->
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop003</value>
</property>
<property>
 <!-- RM1 Web 应用程序的地址 -->
   <name>yarn.resourcemanager.webapp.address.rm1</name>
 <value>hadoop002:8088</value>
</property>
<property>
 <!-- RM2 Web 应用程序的地址 -->
 <name>yarn.resourcemanager.webapp.address.rm2</name>
 <value>hadoop003:8088</value>
</property>
<property>
 <!-- ZooKeeper 集群的地址 -->
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
</property>
<property>
 <!-- 启用自动恢复 -->
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>
<property>
 <!-- 用于进行持久化存储的类 -->
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
  5. mapred-site.xml
    <configuration>
<property>
 <!--指定 mapreduce 作业运行在 yarn 上-->
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
</configuration>
  6. slaves
    配置所有从属节点的主机名或 IP 地址，每行一个。所有从属节点上的 DataNode 服务和NodeManager 服务都会被启动。
    hadoop001
hadoop002
hadoop003

    4.4 分发程序

    将 Hadoop 安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下 Hadoop 的环境变量。
# 将安装包分发到hadoop002
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop002:/usr/app/
# 将安装包分发到hadoop003
scp -r /usr/app/hadoop-2.6.0-cdh5.15.2/ hadoop003:/usr/app/

5.启动集群

5.1 启动ZooKeeper

分别到三台服务器上启动 ZooKeeper 服务：

zkServer.sh start

5.2 启动Journalnode

分别到三台服务器的的 ${HADOOP_HOME}/sbin 目录下，启动 journalnode 进程：

hadoop-daemon.sh start journalnode

5.3 初始化NameNode

在 hadop001 上执行 NameNode 初始化命令：

hdfs namenode -format

执行初始化命令后，需要将 NameNode 元数据目录的内容，复制到其他未格式化的 NameNode 上。元数据存储目录就是我们在 hdfs-site.xml 中使用 dfs.namenode.name.dir 属性指定的目录。这里我们需要将其复制到 hadoop002 上：

scp -r /home/hadoop/namenode/data hadoop002:/home/hadoop/namenode/

5.4 初始化HA状态

在任意一台 NameNode 上使用以下命令来初始化 ZooKeeper 中的 HA 状态：

hdfs zkfc -formatZK

5.5 启动HDFS

进入到 hadoop001 的 ${HADOOP_HOME}/sbin 目录下，启动 HDFS。此时 hadoop001 和 hadoop002 上的 NameNode 服务，和三台服务器上的 DataNode 服务都会被启动：

start-dfs.sh

5.6 启动YARN

进入到 hadoop002 的 ${HADOOP_HOME}/sbin 目录下，启动 YARN。此时 hadoop002 上的 ResourceManager 服务，和三台服务器上的 NodeManager 服务都会被启动：

start-yarn.sh

需要注意的是，这个时候 hadoop003 上的 ResourceManager 服务通常是没有启动的，需要手动启动：

yarn-daemon.sh start resourcemanager

6.查看集群

6.1 查看进程

成功启动后，每台服务器上的进程应该如下：

[root@hadoop001 sbin]# jps
4512 DFSZKFailoverController
3714 JournalNode
4114 NameNode
3668 QuorumPeerMain
5012 DataNode
4639 NodeManager

[root@hadoop002 sbin]# jps
4499 ResourceManager
4595 NodeManager
3465 QuorumPeerMain
3705 NameNode
3915 DFSZKFailoverController
5211 DataNode
3533 JournalNode

[root@hadoop003 sbin]# jps
3491 JournalNode
3942 NodeManager
4102 ResourceManager
4201 DataNode
3435 QuorumPeerMain

6.2 查看Web UI

HDFS 和 YARN 的端口号分别为 50070 和 8080 ，此时 hadoop001 上的 NameNode 处于可用状态，而 hadoop002 上的 NameNode 则处于备用状态，hadoop002 上的 ResourceManager 处于可用状态，hadoop003 上的 ResourceManager 则处于备用状态，同时也可以查看 Journal Manager 的相关信息。

7.集群的二次启动

上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要确保 ZooKeeper 集群已经启动）：
在 hadoop001 启动 HDFS，此时会启动所有与 HDFS 高可用相关的服务，包括 NameNode，DataNode 和 JournalNode：

start-dfs.sh

在 hadoop002 启动 YARN：

start-yarn.sh

这个时候 hadoop003 上的 ResourceManager 服务通常还是没有启动的，需要手动启动：

yarn-daemon.sh start resourcemanager
文章标签：
微服务引擎
分布式计算
Hadoop
资源调度
存储
Java
关键词：
hadoop集群
hadoop高可用
网络图片
集群网络
网络hadoop
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
yuanzhengme
目录
相关文章
cuicuicuic
|
4天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的，可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
cuicuicuic
15 0
幼稚十一
|
6天前
|
分布式计算 Ubuntu Hadoop
【分布式计算框架】hadoop全分布式及高可用搭建
【分布式计算框架】hadoop全分布式及高可用搭建
幼稚十一
27 1
Safenetworkaccess
|
6天前
|
网络安全 数据安全/隐私保护 计算机视觉
2024蓝桥杯网络安全-图片隐写-缺失的数据（0基础也能学会-含代码解释）
2024蓝桥杯网络安全-图片隐写-缺失的数据（0基础也能学会-含代码解释）
Safenetworkaccess
10 2
听风de歌
|
6天前
|
存储 分布式计算 监控
Hadoop网络问题
【5月更文挑战第4天】
听风de歌
18 3
听风de歌
|
6天前
|
分布式计算 资源调度 监控
Hadoop节点网络硬件检查
【5月更文挑战第2天】
听风de歌
25 9
听风de歌
|
6天前
|
分布式计算 资源调度 安全
Hadoop节点检查网络交换机、路由器和网线
【5月更文挑战第1天】您可以对Hadoop节点中的网络交换机、路由器和网线进行全面的检查，确保这些设备正常运行并且网络连接稳定可靠。如果在检查过程中发现任何问题，应及时解决，以避免影响Hadoop集群的稳定性和性能。
听风de歌
27 6
桃李春风一杯酒
|
6天前
|
XML JSON 前端开发
【Flutter前端技术开发专栏】Flutter中的图片、视频与网络资源加载
【4月更文挑战第30天】Flutter是谷歌的开源前端框架，因其高性能、流畅UI和多端运行能力受开发者喜爱。本文聚焦于Flutter中的资源加载：使用`Image`组件加载静态、网络和本地图片；通过`video_player`库加载和播放视频；利用`http`包进行网络资源请求。掌握这些技巧将有助于提升Flutter应用的开发效率和质量。
桃李春风一杯酒
18 0
【Flutter前端技术开发专栏】Flutter中的图片、视频与网络资源加载
听风de歌
|
6天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试选择测试工具
【4月更文挑战第23天】
听风de歌
23 2
听风de歌
|
6天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试设置测试环境
【4月更文挑战第23天】
听风de歌
21 1
Hadoop节点网络性能的带宽测试设置测试环境
听风de歌
|
6天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架，核心包括MapReduce和HDFS，用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势，但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统，DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
听风de歌
99 2

热门文章

最新文章

  • 1
    R语言用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化
  • 2
    存储架构深度解析：直连存储（DAS）、存储区域网络（SAN）与网络附加存储（NAS）的区别
  • 3
    linux查看CPU、内存、网络、磁盘IO命令
  • 4
    网络面试题
  • 5
    【CVPR轻量级网络】- 追求更高的FLOPS(FasterNet)
  • 6
    SDN（软件定义网络）——重塑网络架构的新视角
  • 7
    用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化（一）
  • 8
    ＜ 今日份知识点：web常见的攻击方式（网络攻击）有哪些？如何预防？如何防御呢 ？ ＞
  • 9
    Python用RNN神经网络：LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
  • 10
    《计算机网络简易速速上手小册》第6章：网络性能优化（2024 最新版）
  • 1
    Apache Hadoop YARN基本架构
    31
  • 2
    hadoop模块
    28
  • 3
    使用Hadoop和Nutch构建音频爬虫：实现数据收集与分析
    32
  • 4
    Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
    80
  • 5
    百度搜索：蓝易云【Ubuntu搭建全分布式Hadoop】
    29
  • 6
    hadoop升级流程
    59
  • 7
    使用Sqoop将数据从Hadoop导出到关系型数据库
    88
  • 8
    使用Sqoop将数据导入Hadoop的详细教程
    107
  • 9
    Hadoop和Hive中的数据倾斜问题及其解决方案
    52
  • 10
    Hadoop生态各个组件的关系
    24

    • 相关课程

    更多
  • 企业上云攻略-阿里云网络产品应用系列教程
  • 大数据Hadoop快速入门
  • Linux网络进阶 - TCP/IP协议及OSI七层模型
  • 网络管理者必知-2分钟了解新出台的《网络安全法》
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 基于MSE实现微服务的全链路灰度
  • 基于MSE实现K8s集群内多服务的灰度发布
  • 容器的网络入门
  • 容器的自定义网络
  • 容器的共享网络模型
  • 搭建Hadoop环境
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考