YARN 中VCores Total和集群节点实际的CPU核数不一致问题

问题描述

1、集群的Worker节点的CPU核实是4，有两个Worker节点，YARN的NodeManager分布在这两个节点部署。

2、查看YARN的VCores Total是16，和实际的不符合，实际应该是8。

问题原因

1、可以根据YARN官方文档：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

查看yarn.nodemanager.resource.cpu-vcores配置的默认值是-1，代表默认一个NodeManager对应8个VCores，结合问题描述集群有2个NodeManager所以Yarn显示的VCores数是16

解决方案

根据问题原因所述YARN的VCores数量和集群实际的CPU数不一致是正常的，如果需要一致，需要将yarn.nodemanager.resource.detect-hardware-capabilities（是否开启硬件检测）的值设置为true，并且yarn.nodemanager.resource.cpu-vcores设置为-1的时候则会根据硬件自动确定VCores的数量，然后重启组件生效。

适用范围

开源大数据平台E-MapReduce