YARN Node Label功能最早是在Hadoop 2.6版本中引入,在后续版本中有更多的功能完善。到了Hadoop 2.8.x版本之后,该功能已经比较完整,可以满足日常使用。在本文中,我们需要将Node Label功能应用在EMR弹性伸缩场景中。
其实Node Label特性更准确的叫法是Node Partition,也就是说通过label把YARN集群中的节点分组,每个节点拥有一个label,通过调度器的配置,将作业Task调度到指定的节点中,如果节点没有配置Label,那么这个节点属于Label为DEFAULT的Partition。Hadoop 3.2之后加入的Node Attribute功能是更加灵活的方案,可以方便的给各个节点打上OS/kernel version/CPU architecture/JDK version等标签,但这个功能在本文中就不展开了。更多关于Node Label的信息请参考Hadoop YARN PMC Wangda的文章。
配置
首先需要给YARN服务打开NodeLabel功能,yarn-site.xml需要增加配置:
- yarn.node-labels.enabled -> true
- yarn.node-labels.fs-store.root-dir -> /yarn/node-label
保存后需要重启YARN ResourceManager。
节点的Node Label
EMR集群的worker node有两类节点,分别是core节点(除了NodeManager之外还运行HDFS和HBase等存储服务进程)和task节点(只运行NodeManager之类的计算服务),我们首先增加两个node label
yarn rmadmin -addToClusterNodeLabels "core(exclusive=false),task(exclusive=false)"
exclusive=false意思是这个Label的资源可以共享给申请DEFAULT资源的作业。
然后给各个节点打上标签(用你的机器名字替代 emr-worker-*.cluster-105364):
yarn rmadmin -replaceLabelsOnNode \
"emr-worker-1.cluster-105364=core emr-worker-2.cluster-105364=core emr-worker-3.cluster-105364=task"
Scheduler的配置
目前只有YARN Capacity Scheduler支持NodeLabel功能,我们以他为例,而且假设一个最简单的场景,集群内只有一个queue(default)。
在配置node label相关的信息之前,capacity-scheduler.xml 包含如下内容:
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
<value>100</value>
</property>
新增Node Label相关配置:
<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels</name>
<value>core,task</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.core.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.accessible-node-labels.task.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
<value>core,task</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels.core.capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.default.accessible-node-labels.task.capacity</name>
<value>100</value>
</property>
上述配置的意思是:
- 对于Label为core的资源,default queue占用100%的资源
- 对于Label为task的资源,default queue占用100%的资源
保存配置之后,需要刷新YARN Scheduler queue。
作业提交
在弹性伸缩场景下,task节点可能随时被停止,所以如果一个长时间运行的作业的application master(AM)被运行在Task节点上,当节点停止后AM就退出了,可能会造成作业失败。所以,比较好的策略是AM只启动在Core节点上。
如果集群开启了Node Label功能,我们可以通过配置作业的方式,将AM启动在Core节点上。本文中只介绍MapReduce和Spark两类作业
MapReduce作业
提交作业如下:
hadoop jar hadoop-mapreduce-examples-2.8.5.jar pi \
-Dmapreduce.job.am.node-label-expression=core \
10 100000000
mapreduce.job.am.node-label-expression=core参数指明了MapReduce AM申请core类型资源,所以AM一定会启动在Core节点上。同时,因为没有指定普通Task运行的资源(也就是申请了DEFAULT),所以普通Task可以同时运行在Core和Task节点上(exclusive=false)。
如果要希望MapReduce Map或Reduce task只运行在Task节点上,可以在提交参数上指定:
hadoop jar hadoop-mapreduce-examples-2.8.5.jar pi \
-Dmapreduce.job.am.node-label-expression=core \
-Dmapreduce.job.node-label-expression=task \
100 100000000
另外,还有mapreduce.map.node-label-expression和mapreduce.reduce.node-label-expression等参数可配置。
Spark作业
类似于MapReduce Job,我们可以指定spark.yarn.am.nodeLabelExpression 和 spark.yarn.executor.nodeLabelExpression 将作业提交到不同的节点上。下面这个例子是将Spark AM启动在Core节点上:
spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn --deploy-mode cluster \
--conf spark.yarn.am.nodeLabelExpression=core \
spark-examples_2.11-2.3.2.jar 10