AI 助理
备案控制台
开发者社区 数据库 文章 正文

hadoop指标项

2018-08-20 3007
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： hadoop指标项
转至元数据结尾 转至元数据起始

系统采用的,hadoop采集metrics接口-每分钟


namenode

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeActivity

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=JvmMetrics

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8022

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020

http://%s:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort80222

 

hmaster

ht tp://%s:60010/jmx?qry=hadoop:service=Master,name=MasterStatistics

http://%s:60010/jmx?qry=hadoop:service=HBase,name=RPCStatistics-60000

 

 

Regionserver

ht tp://127.0.0.1:60030/jmx?qry=hadoop:service=RegionServer,name=RegionServerDynamicStatistics

ht tp://127.0.0.1:60030/jmx?qry=hadoop:service=RegionServer,name=RegionServerStatistics

ht tp://127.0.0.1:60030/jmx?qry=hadoop:service=HBase,name=RPCStatistics-60020

 

 

 datanode

http://%s:50075/jmx?qry=Hadoop:service=DataNode,name=DataNodeActivity-%s-%s 

http://%s:50075/jmx?qry=Hadoop:service=DataNode,name=JvmMetrics

http://%s:50075/jmx?qry=Hadoop:service=DataNode,name=RpcActivityForPort%s

http://%s:50075/jmx?qry=Hadoop:service=DataNode,name=FSDatasetState-%s

 

resourcemanager

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=ClusterMetrics

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=JvmMetrics

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=QueueMetrics,q0=root

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8030

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8031

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8032

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=RpcDetailedActivityForPort8033

http://%s:8088/jmx?qry=java.lang:type=GarbageCollector,name=ConcurrentMarkSweep

http://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=FSOpDurations

http://%s:8088/ws/v1/cluster/appstatistics

ht tp://%s:8088/jmx?qry=Hadoop:service=ResourceManager,name=EventMetrics

 

 

nodemanager

http://127.0.0.1:8042/jmx?qry=Hadoop:service=NodeManager,name=JvmMetrics

http://127.0.0.1:8042/jmx?qry=Hadoop:service=NodeManager,name=NodeManagerMetrics

http://127.0.0.1:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8040

http://127.0.0.1:8042/jmx?qry=Hadoop:service=NodeManager,name=RpcActivityForPort8041

http://127.0.0.1:8042/jmx?qry=Hadoop:service=NodeManager,name=ShuffleMetrics

 

 

journalnode

http://127.0.0.1:8480/jmx?qry=Hadoop:service=JournalNode,name=JournalNodeInfo

http://127.0.0.1:8480/jmx?qry=Hadoop:service=JournalNode,name=JvmMetrics

http://127.0.0.1:8480/jmx?qry=Hadoop:service=JournalNode,name=RpcDetailedActivityForPort8485

ht tp://127.0.0.1:8480/jmx?qry=Hadoop:service=JournalNode,name=Journal-yiran-data-ns





文章标签：
分布式计算
Hadoop
Hbase
分布式数据库
浦涛
目录
相关文章
听风de歌
|
1月前
|
分布式计算 Hadoop Java
Hadoop数据倾斜增加Reducer数量使用Hadoop参数
【7月更文挑战第4天】
听风de歌
30 4
听风de歌
|
1月前
|
分布式计算 监控 算法
Hadoop数据倾斜合理评估
【7月更文挑战第2天】
听风de歌
19 2
听风de歌
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop数据倾斜配合其他策略
【7月更文挑战第2天】
听风de歌
21 3
听风de歌
|
1月前
|
数据采集 分布式计算 监控
Hadoop数据倾斜配置调整
【7月更文挑战第2天】
听风de歌
23 1
听风de歌
|
3月前
|
存储 分布式计算 Hadoop
Hadoop节点配置与调整
【5月更文挑战第21天】
听风de歌
45 5
Hadoop节点配置与调整
听风de歌
|
2月前
|
分布式计算 并行计算 Hadoop
Hadoop数据重分布的流程
【6月更文挑战第14天】
听风de歌
24 5
听风de歌
|
3月前
|
存储 分布式计算 监控
Hadoop节点设置考虑因素
【5月更文挑战第21天】
听风de歌
33 1
月亮给我抄代码
|
3月前
|
资源调度 分布式计算 Hadoop
Hadoop Yarn 核心调优参数
这是一个关于测试集群环境的配置说明，包括3台服务器（master, slave1, slave2）运行CentOS 7.5，每台有4核CPU和4GB内存。集群使用Hadoop 3.1.3，JDK1.8。Yarn核心配置涉及调度器选择、ResourceManager线程数、节点检测、逻辑处理器使用、核心转换乘数、NodeManager内存和CPU设置，以及容器的内存和CPU限制。配置完成后，需要重启Hadoop并检查yarn配置。
月亮给我抄代码
51 4
月亮给我抄代码
|
3月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3，针对三台4核4G服务器的MapReduce调优参数包括：`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle，`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
月亮给我抄代码
39 1
xleesf
|
3月前
|
监控 API Apache
实战！配置DataDog监控Apache Hudi应用指标
实战！配置DataDog监控Apache Hudi应用指标
xleesf
54 0