YARN的高可用性HA配置实战

简介: YARN的高可用性HA配置实战

0x00 教程内容


  1. 配置YARN
  2. 校验结果
  3. 恢复回非HA模式

PS:与HDFS的HA类似,但比HDFS的要简单很多。教程入口:HDFS的高可用性HA配置实战


0x01 配置YARN


1. 备份yarn-site.xml

a. 为了方便之后学习恢复回非HA模式

cp yarn-site.xml yarn-site.xml_bak

2. 配置HA

a. 完整的yarn-site.xml配置文件(可先停止YARN)

vi yarn-site.xml


<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
  <description>集群唯一标识</description>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
  <description>两个RM的唯一标识</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master</value>
  <description>第一个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1</value>
  <description>第二个RM部署在的机器名</descritption>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master:8088</value>
  <description>第一个RM的web ui的端口</descritption>
</property>
<property>  
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>slave1:8088</value>
  <description>第二个RM的web ui的端口</descritption>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
  <description>zk的部署的主机名和端口</descritption>
</property>


3. 同步到从节点

a. 同步配置文件到slave1、slave2

scp yarn-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/

scp yarn-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/


0x02 校验结果


1. 启动YARN

a. 在master上启动yarn,

start-yarn.sh

b. 在slave1上启动resourcemanager

~/bigdata/hadoop-2.7.5/sbin/yarn-daemon.sh start resourcemanager


2. 校验配置

a. 查看master与slave1的Resourcemanager状态(在master执行即可)

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

b. 杀死master的Resourcemanager进程,再查看slave1的Resourcemanager状态


3. 查看ZK变化

a. 启动ZK

zkCli.sh -server master:2181

b. 查看内容

ls /

此时会发现多了一个yarn-leader-election节点,就是YARN的HA所创建的节点


0x03 恢复回非HA模式


a. 停止YARN

stop-yarn.sh

b. 备份HA的配置文件

cp yarn-site.xml yarn-site.xml_ha

c. 恢复非HA的配置文件

cp yarn-site.xml_bak yarn-site.xml

d. 同步到slave1、slave2后,再重新启动YARN

start-yarn.sh


0xFF 总结


  1. 过程比较简单,这里已经把我之前的笔记整理成了操作流程提供给大家,希望对您有所帮助,多看看官网。
相关文章
|
8月前
|
分布式计算 资源调度 大数据
黑马程序员-大数据入门到实战-MapReduce & YARN入门
黑马程序员-大数据入门到实战-MapReduce & YARN入门
94 0
|
10天前
|
SQL 分布式计算 资源调度
Hadoop Yarn 配置多队列的容量调度器
配置Hadoop多队列容量调度器,编辑`capacity-scheduler.xml`,新增`hive`队列,`default`队列占总内存40%,最大60%;`hive`队列占60%,最大80%。配置包括队列容量、用户权限和应用生存时间等,配置后使用`yarn rmadmin -refreshQueues`刷新队列,无需重启集群。多队列配置可在Yarn WEB界面查看。
|
20天前
|
消息中间件 SQL 资源调度
实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
22天前
|
资源调度 前端开发 JavaScript
够啦!前端Yarn配置和命令
够啦!前端Yarn配置和命令
35 0
|
22天前
|
资源调度 前端开发 JavaScript
nvm,npm,yarn相关指令,前端配置准备
nvm,npm,yarn相关指令,前端配置准备
10 1
|
22天前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
24 0
|
22天前
|
分布式计算 资源调度 Hadoop
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
75 0
|
22天前
|
资源调度 分布式计算 Hadoop
Yarn【关于配置yarn-site.xml的注意事项】
Yarn【关于配置yarn-site.xml的注意事项】
|
7月前
|
资源调度 分布式计算 Hadoop
Yarn队列租户配置教程(实践记录)
Yarn队列租户配置教程(实践记录)
83 0
|
7月前
|
资源调度 分布式计算 Hadoop
MapReduuce配置&YARN集群部署
MapReduuce配置&YARN集群部署
46 0

相关实验场景

更多