YARN的高可用性HA配置实战

简介: YARN的高可用性HA配置实战

0x00 教程内容


  1. 配置YARN
  2. 校验结果
  3. 恢复回非HA模式

PS:与HDFS的HA类似,但比HDFS的要简单很多。教程入口:HDFS的高可用性HA配置实战


0x01 配置YARN


1. 备份yarn-site.xml

a. 为了方便之后学习恢复回非HA模式

cp yarn-site.xml yarn-site.xml_bak

2. 配置HA

a. 完整的yarn-site.xml配置文件(可先停止YARN)

vi yarn-site.xml


<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
  <description>集群唯一标识</description>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
  <description>两个RM的唯一标识</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master</value>
  <description>第一个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1</value>
  <description>第二个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master:8088</value>
  <description>第一个RM的web ui的端口</descritption>
</property>
<property>  
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>slave1:8088</value>
  <description>第二个RM的web ui的端口</descritption>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
  <description>zk的部署的主机名和端口</descritption>
</property>


3. 同步到从节点

a. 同步配置文件到slave1、slave2

scp yarn-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/

scp yarn-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/


0x02 校验结果


1. 启动YARN

a. 在master上启动yarn,

start-yarn.sh

b. 在slave1上启动resourcemanager

~/bigdata/hadoop-2.7.5/sbin/yarn-daemon.sh start resourcemanager


2. 校验配置

a. 查看master与slave1的Resourcemanager状态(在master执行即可)

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

b. 杀死master的Resourcemanager进程,再查看slave1的Resourcemanager状态


3. 查看ZK变化

a. 启动ZK

zkCli.sh -server master:2181

b. 查看内容

ls /

此时会发现多了一个yarn-leader-election节点,就是YARN的HA所创建的节点


0x03 恢复回非HA模式


a. 停止YARN

stop-yarn.sh

b. 备份HA的配置文件

cp yarn-site.xml yarn-site.xml_ha

c. 恢复非HA的配置文件

cp yarn-site.xml_bak yarn-site.xml

d. 同步到slave1、slave2后,再重新启动YARN

start-yarn.sh


0xFF 总结


  1. 过程比较简单,这里已经把我之前的笔记整理成了操作流程提供给大家,希望对您有所帮助,多看看官网。
目录
打赏
0
0
0
0
11
分享
相关文章
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
174 9
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
55 2
Ubuntu22.04静态ip配置+yarn build后显示内存超限,变异失败
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
219 5
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
194 4
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
123 4
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
480 2
【揭秘Hadoop YARN背后的奥秘!】从零开始,带你深入了解YARN资源管理框架的核心架构与实战应用!
【8月更文挑战第24天】Hadoop YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理器,为Hadoop集群上的应用提供统一的资源管理和调度框架。YARN通过ResourceManager、NodeManager和ApplicationMaster三大核心组件实现高效集群资源利用及多框架支持。本文剖析YARN架构及组件工作原理,并通过示例代码展示如何运行简单的MapReduce任务,帮助读者深入了解YARN机制及其在大数据处理中的应用价值。
124 0
秒懂Yarn:从安装到配置的全流程详解
**Yarn**是Facebook推出的JavaScript包管理器,旨在提供更快、更安全的依赖管理。它通过并行安装、离线模式、版本锁定和友好的命令行界面提升效率。要安装Yarn,可以使用npm、Homebrew或Chocolatey。基本命令包括初始化项目(`yarn init`)、安装/移除/升级依赖(`yarn add/remove/upgrade`)。配置Yarn涉及设置`.yarnrc`文件,如更改registry。通过`yarn.lock`文件保证依赖一致性。文章还提供了使用Yarn进行API测试和项目管理的实战案例。
284 0
Hadoop Yarn 配置多队列的容量调度器
配置Hadoop多队列容量调度器,编辑`capacity-scheduler.xml`,新增`hive`队列,`default`队列占总内存40%,最大60%;`hive`队列占60%,最大80%。配置包括队列容量、用户权限和应用生存时间等,配置后使用`yarn rmadmin -refreshQueues`刷新队列,无需重启集群。多队列配置可在Yarn WEB界面查看。
115 4
yarn的安装与配置(Windows/macOS)
yarn的安装与配置(Windows/macOS)
752 0

相关实验场景

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等