YarnJMX监控

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: YarnJMX监控

JMX端口查看

ResourceManager 管理页面 后缀改为 /jmx即可,如:http://192.168.1.2:8088/jmx

NodeManager JMX页面:在ResourceManager 管理页面选择Nodes里面会显示节点列表

如下图:NodeManager JMX 地址为http://bigdata-24-194:8042/jmx

image-20230213112124788

监控参数说明

节点类型 Name 参数 含义 类型
ResourceManager Hadoop:service=ResourceManager,name=ClusterMetrics NumActiveNMs 当前存活的 NodeManager 个数 基础指标
ResourceManager Hadoop:service=ResourceManager,name=ClusterMetrics NumDecommissionedNMs 当前 Decommissioned 的 NodeManager 个数 基础指标
ResourceManager Hadoop:service=ResourceManager,name=ClusterMetrics NumDecommissioningNMs 集群正在下线的节点数 基础指标
ResourceManager Hadoop:service=ResourceManager,name=ClusterMetrics NumLostNMs 集群丢失的节点数 基础指标
ResourceManager Hadoop:service=ResourceManager,name=ClusterMetrics NumUnhealthyNMs 集群不健康的节点数 基础指标
ResourceManager Hadoop:service=ResourceManager,name=RpcActivityForPort* RpcProcessingTimeAvgTime Hadoop:service=ResourceManager,name=RpcActivityForPort RPC
ResourceManager Hadoop:service=ResourceManager,name=RpcActivityForPort* CallQueueLength ResourceManager RPC队列积压长度 RPC
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemNonHeapCommittedM ResourceManager JVM当前非堆内存大小已提交大小,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemNonHeapMaxM ResourceManager JVM非堆最大可用内存,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemNonHeapUsedM ResourceManager JVM当前已使用的非堆内存大小,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemHeapCommittedM ResourceManager JVM当前已使用堆内存大小,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemHeapMaxM ResourceManager JVM堆内存最大可用内存,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics MemHeapUsedM ResourceManager JVM当前已使用堆内存大小,单位为MB 基础指标
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics GcTimeMillis ResourceManager JVM GC时间 GC
ResourceManager Hadoop:service=ResourceManager,name=JvmMetrics GcCount ResourceManager JVM GC次数 GC
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AllocatedVCores ResourceManager调度器特定队列分配的虚拟核数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* ReservedVCores ResourceManager调度器特定队列预留核数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AvailableVCores ResourceManager调度器特定队列可用核数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* PendingVCores ResourceManager调度器特定队列阻塞调度核数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AllocatedMB ResourceManager调度器特定队列已分配(已用)的内存大小,单位为MB Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AvailableMB ResourceManager调度器特定队可用内存,单位为MB Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* PendingMB ResourceManager调度器特定队列阻塞调度内存,单位为MB Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* ReservedMB ResourceManager调度器特定队列预留内存,单位为MB Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AllocatedContainers ResourceManager调度器特定队列已分配(已用)的container数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* PendingContainers ResourceManager调度器特定队列阻塞调度container个数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* ReservedContainers ResourceManager调度器特定队列预留container数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AggregateContainersAllocated ResourceManager调度器特定队列累积的container分配总数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AggregateContainersReleased ResourceManager调度器特定队列累积的container释放总数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsCompleted ResourceManager调度器特定队列完成的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsKilled ResourceManager调度器特定队列被杀掉的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsFailed ResourceManager调度器特定队列失败的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsPending ResourceManager调度器特定队列阻塞的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsRunning ResourceManager调度器特定队列提正在运行的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* AppsSubmitted ResourceManager调度器特定队列提交过的任务数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* running_0 当前队列中运行作业运行时间小于60分钟的作业个数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* running_60 当前队列中运行作业运行时间介于60~300分钟的作业个数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* running_300 当前队列中运行作业运行时间介于300~1440分钟的作业个数 Yarn队列
ResourceManager Hadoop:service=ResourceManager,name=QueueMetrics* running_1440 当前队列中运行作业运行时间大于1440分钟的作业个数 Yarn队列
ResourceManager java.lang:type=GarbageCollector,name=G1 Old Generation CollectionCount 老年代GC次数/Full GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=G1 Old Generation CollectionTime 老年代GC消耗时间 GC
ResourceManager java.lang:type=GarbageCollector,name=G1 Young Generation CollectionCount 新生代GC次数/Young GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=G1 Young Generation CollectionTime 新生代GC消耗时间 GC
ResourceManager java.lang:type=GarbageCollector,name=ParNew CollectionCount 新生代GC次数/Young GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=ParNew CollectionTime 新生代GC消耗时间 GC
ResourceManager java.lang:type=GarbageCollector,name=ConcurrentMarkSweep CollectionCount 老年代GC次数/Full GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=ConcurrentMarkSweep CollectionTime 老年代GC消耗时间 GC
ResourceManager java.lang:type=GarbageCollector,name=PS MarkSweep CollectionCount 老年代GC次数/Full GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=PS MarkSweep CollectionTime 老年代GC消耗时间 GC
ResourceManager java.lang:type=GarbageCollector,name=PS Scavenge CollectionCount 新生代GC次数/Young GC 次数 GC
ResourceManager java.lang:type=GarbageCollector,name=PS Scavenge CollectionTime 新生代GC消耗时间 GC
ResourceManager java.lang:type=Runtime StartTime 启动时间戳 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics AvailableGB NodeManager可用的内存大小,单位为GB 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics AllocatedGB NodeManager使用的内存大小,单位为GB 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics AllocatedVCores NodeManager使用的虚拟核数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics AvailableVCores NodeManager可用的虚拟核数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersLaunched NodeManager Container启动过的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersRunning NodeManager Container正在运行的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersFailed NodeManager Container失败的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersCompleted NodeManager Container运行完成的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersIniting NodeManager Container初始化中的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics ContainersKilled NodeManager Container被中止Kill的个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics BadLocalDirs NodeManager磁盘损坏个数 基础指标
NodeManager Hadoop:service=NodeManager,name=NodeManagerMetrics GoodLocalDirsDiskUtilizationPerc NodeManager磁盘利用率 基础指标
NodeManager java.lang:type=GarbageCollector,name=G1 Old Generation CollectionCount 老年代GC次数/Full GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=G1 Old Generation CollectionTime 老年代GC消耗时间 GC
NodeManager java.lang:type=GarbageCollector,name=G1 Young Generation CollectionCount 新生代GC次数/Young GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=G1 Young Generation CollectionTime 新生代GC消耗时间 GC
NodeManager java.lang:type=GarbageCollector,name=ParNew CollectionCount 新生代GC次数/Young GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=ParNew CollectionTime 新生代GC消耗时间 GC
NodeManager java.lang:type=GarbageCollector,name=ConcurrentMarkSweep CollectionCount 老年代GC次数/Full GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=ConcurrentMarkSweep CollectionTime 老年代GC消耗时间 GC
NodeManager java.lang:type=GarbageCollector,name=PS MarkSweep CollectionCount 老年代GC次数/Full GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=PS MarkSweep CollectionTime 老年代GC消耗时间 GC
NodeManager java.lang:type=GarbageCollector,name=PS Scavenge CollectionCount 新生代GC次数/Young GC 次数 GC
NodeManager java.lang:type=GarbageCollector,name=PS Scavenge CollectionTime 新生代GC消耗时间 GC
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemNonHeapCommittedM NodeManager JVM当前非堆内存大小已提交大小,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemNonHeapMaxM NodeManager JVM非堆最大可用内存,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemNonHeapUsedM NodeManager JVM当前已使用的非堆内存大小,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemHeapCommittedM NodeManager JVM当前已使用堆内存大小,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemHeapMaxM NodeManager JVM堆内存最大可用内存,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics MemHeapUsedM NodeManager JVM当前已使用堆内存大小,单位为MB 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics GcTimeMillis NodeManager JVM GC时间 基础指标
NodeManager Hadoop:service=NodeManager,name=JvmMetrics GcCount NodeManager JVM GC次数 基础指标
NodeManager java.lang:type=Runtime StartTime 启动时间戳 基础指标
目录
相关文章
|
运维 监控 数据可视化
ELK日志监控分析系统的探索与实践(二):利用Metricbeat监控服务器系统指标
在ELK日志监控分析系统的探索与实践(一)中,我们介绍了如何利用ELK+Filebeat监控Springboot项目的日志,本篇则是重点介绍如何利用ELk+Metricbeat监控服务器系统CPU、内存、磁盘等系统指标。
ELK日志监控分析系统的探索与实践(二):利用Metricbeat监控服务器系统指标
|
10天前
|
数据采集 运维 监控
添加监控
添加监控
21 8
|
12天前
|
Prometheus 监控 Cloud Native
使用Prometheus配置监控与报警
通过以上步骤,你可以使用Prometheus和Alertmanager实现监控和报警配置,以确保系统在出现性能问题或故障时能够及时通知相关人员。欢迎关注威哥爱编程,一起学习成长。
|
6月前
|
监控
rabbitmqctl管理和监控
rabbitmqctl管理和监控
|
9月前
|
Prometheus Kubernetes 监控
k8s的监控
k8s的监控
143 0
|
运维 Prometheus 监控
Zabbix与乐维监控对比分析(四)——告警管理篇
告警管理是所有IT监控平台最重磅的功能之一,也是评判一个监控平台好坏的最重要指标之一。告警管理篇是Zabbix与乐维监控对比分析专题系列文章的第四篇,主要包括告警管理、告警中心、告警收敛、告警通知、日报周报等内容。
230 0
Zabbix与乐维监控对比分析(四)——告警管理篇
|
存储 监控 网络协议
服务监控(下)
服务监控(下)
129 0
服务监控(下)
|
监控
服务监控(中)
服务监控(中)
127 0
服务监控(中)
|
监控 前端开发
服务监控(上)
服务监控(上)
198 0
服务监控(上)
|
监控 数据安全/隐私保护
基于Grafana的监控报警平台
简介 监控报警平台以Grafana为基础,主要功能是将收集存储的数据按照不同维度、不同应用、不同用户进行配置化的展示;为了保证数据安全,每个团队只能看到自己的应用数据。同时对不同维度的数据,可以进行报警配置,根据最常用的报警方式,提供了钉钉报警、邮件报警、webhook报警三种方式。
11428 0