开发者社区> cloudcoder> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

在YARN中,如何控制和监控map/reduce的并发数

简介:
+关注继续查看

配置建议:

1.
    In MR1, the mapred.tasktracker.map.tasks.maximum and mapred.tasktracker.reduce.tasks.maximum properties dictated how many map and reduce slots each TaskTracker had.

    These properties no longer exist in YARN. Instead, YARN uses yarn.nodemanager.resource.memory-mb and yarn.nodemanager.resource.cpu-vcores, which control the amount of memory and CPU on each node, both available to both maps and reduces

    Essentially:
YARN has no TaskTrackers, but just generic NodeManagers. Hence, there's no more Map slots and Reduce slots separation. Everything depends on the amount of memory in use/demanded

2.

Using the web UI you can get lot of monitoring/admin kind of info:

NameNode - http://:50070/ 
Resource Manager - http://:8088/

其他配置参考:

  1. There is a good guide on YARN configuration from Hortonworks
  2. You may analyze your job in Job History server. It usually may be found on port 19888. Ambari andGanglia are also very good for cluster utilization measurement.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于Yarn API的Spark程序监控
一.简述 通过对Yarn ResourceManager中运行程序的状态(RUNNING、KILLED、FAILED、FINISHED)以及ApplicationMaster中Application的Job执行时长超过批次时间的监控,来达到对Spark on Yarn程序的失败重启、超时重启等功能 二.
4055 0
修改yarn监控web页面上展示的StartFime和FinishTime【GMT时间】
应用场景 当部署好hadoop集群后,搭建了YARN集群,开启了hadoop的HDFS和YARN服务,访问主节点IP和8088端口的YARN监控界面,发现这个All Applications界面中的开始执行时间和结束执行时间不对,应该往后加8个小时才对,导致在页面中对任务监控的时候容易出错,所以现在要进行修改! 操作步骤 错误显示如上图,如果正确的话,应该加上8小时,才是我应该想要的时间。
1462 0
【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况
本讲义出自Ed Barnes与Ruslan Vaulin在Spark Summit East 2017上的演讲,我们都害怕“失去的任务”和“容器由于超出内存限制被Yarn关闭”的消息在Spark Yarn的应用程序出现的比例增多。
2291 0
Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)
Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5) 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。 jstat工具,在JDK的bin目录,可以显示大量JVM统计信息。 1.1 JVM分析 一个Java虚拟机(JVM)进程被分为3个区(代),具体分为年轻代(young generation)、年老代
1188 0
Hadoop YARN学习之监控集群监控Nagios(4)
doop YARN学习之监控集群监控Nagios(4) 1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群。 2. 监控基本的Hadoop服务 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中。 加载Nagios插件向hadoop-cluster.cfg添加如下信息 defi
1152 0
hadoop hdfs、yarn 群起脚本
hadoop hdfs、yarn 群起脚本
0 0
【Hadoop】万字长文详解Yarn资源隔离
【Hadoop】万字长文详解Yarn资源隔离
0 0
Hadoop如何保证自己的江湖地位?Yarn功不可没
Hadoop如何保证自己的江湖地位?Yarn功不可没
0 0
+关注
cloudcoder
热衷于大数据处理技术研究、使用 关注中间件技术
文章
问答
文章排行榜
最热
最新
相关电子书
更多
基于Docker on Yarn系统的微服务实践
立即下载
深度学习+大数据 TensorFlow on Yarn
立即下载
Docker on Yarn 微服务实践
立即下载