Hadoop2.6.0版本MapReudce示例之WordCount(二)

简介:         继《Hadoop2.6.0版本MapReudce示例之WordCount(一)》之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行时的文件目录及列表。

        继《Hadoop2.6.0版本MapReudce示例之WordCount(一)》之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行时的文件目录及列表。

        1、监控作业运行或查看历史记录

        在WordCount的输出内容中,有这么一句:The url to track the job: http://server2:8088/proxy/application_1459913635503_0004/,这个是追踪作业运行的意思,登录后,可以查看Job整体情况、配置信息Configuration、Map Tasks情况、Reduce Tasks情况、Job计数器Counters、作业历史JobHistory等情况,分别如下图所示:

        1.1、Job整体情况


        Job整体情况包括作业名、提交用户名、作业队列、作业状态、提交时间、开始时间、完成时间、耗时、平均Map耗时、平均Shuffle耗时、平均合并耗时、平均聚合耗时、Map、Reduce任务各自总数及完成数、Map、Reduce任务尝试运行各自总数、失败数、杀死数、成功数等内容。

        1.2、配置信息Configuration


        1.3、Map Tasks情况


        Map Tasks情况包括Map Task的Task名称name、Task状态state、Task整体开始时间Start Time、Task整体完成时间Finish Time、Task整体耗时Elapsed Time、成功运行尝试Successful Attempt开始时间Start Time、成功运行尝试Successful Attempt完成时间Finish Time、成功运行尝试Successful Attempt耗时Elapsed Time等。

        我们知道,MapReduce的Task的每次尝试运行,称为Task Attempt,并且MapReduce有推测执行原理,对于拖后腿的Map Task,会尝试同时运行多个任务运行尝试Attempt,哪个先完成就用哪个,并且,即便没有推测执行原理,任务也很有可能运行失败,为了确保高容错性,对于失败任务还是需要多次尝试运行直到成功的。

        1.4、Reduce Tasks情况


        Reduce Tasks情况

        1.5、Job计数器Counters


        1.6、作业历史JobHistory


        2、作业运行时的文件目录及列表

        MapReduce的作业Job在运行时,会将配置文件、Jar等上传至HDFS指定工作目录,下面我们看下这个工作目录的情况。针对在Yarn上运行的MapReduce作业,Job运行的指定工作目录这样被定义的:

        参数yarn.app.mapreduce.am.staging-dir指定的路径/作业所属用户user/.staging/作业ID

        参数yarn.app.mapreduce.am.staging-dir未配置的话,默认为/tmp/hadoop-yarn/staging;通过上面的作业查看中配置信息得知,本例中参数配置值为/user,如图所示:


        而作业所属用户取自作业参数mapreduce.job.user.name,本例中参数配置值为hdfs,如图所示:


        最后一个作业ID为job_1459913635503_0005(请原谅,不是本例的JobId,因为之前没有专门截图,所以又运行了一次示例,产生了一个新的JobId)

        所以,完整的作业工作目录为/user/hdfs/.staging/job_1459913635503_0005,查看路径下的文件列表,如图所示:


        其中,job.jar是执行job任务的那个jar文件,job.split是分片信息,job.splitmetainfo是分片元数据信息,job.xml是配置信息。

        

相关文章
|
分布式计算 资源调度 Hadoop
|
11月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
262 3
|
11月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
186 1
|
分布式计算 Hadoop
使用Hadoop ToolRunner 运行wordcount demo
使用Hadoop ToolRunner 运行wordcount demo
85 0
|
分布式计算 Hadoop Android开发
hadoop-eclipse-plugin(版本hadoop2.7.3)
hadoop-eclipse-plugin(版本hadoop2.7.3)
316 6
hadoop-eclipse-plugin(版本hadoop2.7.3)
|
分布式计算 Hadoop Java
Hadoop_MapReduce中的WordCount运行详解
MapReduce的WordCount程序在分布式系统中计算大数据集中单词出现的频率时,提供了一个可以复用和可伸缩的解决方案。它体现了MapReduce编程模型的强大之处:简单、可靠且将任务自动分布到一个集群中去执行。它首先运行一系列的Map任务来处理原始数据,然后通过Shuffle和Sort机制来组织结果,最后通过运行Reduce任务来完成最终计算。因此,即便数据量非常大,通过该模型也可以高效地进行处理。
324 1
|
存储 分布式计算 Hadoop
Hadoop 3.x版本的新特性
【6月更文挑战第18天】
518 2
|
分布式计算 Hadoop Java
运行Hadoop自带的wordcount单词统计程序
运行Hadoop自带的wordcount单词统计程序
370 3
|
分布式计算 资源调度 Hadoop
【Flink】版本 1.13+ 集成 Hadoop 问题
【Flink】版本 1.13+ 集成 Hadoop 问题
896 0

相关实验场景

更多