YARN 中VCores Total和集群节点实际的CPU核数不一致问题

简介: YARN 中VCores Total和集群节点实际的CPU核数不一致问题

问题描述

1、集群的Worker节点的CPU核实是4,有两个Worker节点,YARN的NodeManager分布在这两个节点部署。

2、查看YARN的VCores Total是16,和实际的不符合,实际应该是8。


问题原因

1、可以根据YARN官方文档:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

查看yarn.nodemanager.resource.cpu-vcores配置的默认值是-1,代表默认一个NodeManager对应8个VCores,结合问题描述集群有2个NodeManager所以Yarn显示的VCores数是16


解决方案

根据问题原因所述YARN的VCores数量和集群实际的CPU数不一致是正常的,如果需要一致,需要将yarn.nodemanager.resource.detect-hardware-capabilities(是否开启硬件检测)的值设置为true,并且yarn.nodemanager.resource.cpu-vcores设置为-1的时候则会根据硬件自动确定VCores的数量,然后重启组件生效。


适用范围

开源大数据平台E-MapReduce

相关文章
|
26天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
54 9
|
27天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
35 4
|
3月前
|
资源调度 Kubernetes Java
Flink--day02、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--day022、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
146 5
|
4月前
|
存储 缓存 关系型数据库
【如何选择Mysql服务器的CPU核数及内存大小】
【如何选择Mysql服务器的CPU核数及内存大小】
134 0
|
5月前
|
资源调度 大数据 容器
[已解决]大数据集群CPU告警问题解决
[已解决]大数据集群CPU告警问题解决
39 0
|
5月前
|
资源调度 大数据 调度
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
【云计算与大数据技术】集群资源统一管理系统YARN、Mesos、Omega讲解(图文解释 超详细)
90 2
|
5月前
|
Nacos
nacos 2.2.3集群模式下,leader节点,CPU打满
nacos 2.2.3集群模式下,leader节点,CPU打满
42 1
|
5月前
|
Nacos
nacos 2.2.3集群模式下,leader节点,CPU打满,是什么原因?
nacos 2.2.3集群模式下,leader节点,CPU打满,是什么原因?
77 5
|
5月前
|
弹性计算 资源调度 Kubernetes
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
Flink三种集群模式,Standalone模式,Flink On YARN,Flink On K8S,这三种模式有啥优缺点,生产环境如何选择呢?
255 3
|
6月前
|
缓存 Ubuntu Linux
如何在 Ubuntu 中检查 CPU 核数?
如何在 Ubuntu 中检查 CPU 核数?
478 0