用Hadoop管理界面来分析Map-Reduce作业

 如果我们只是在IDE里面跑Hadoop作业，那么这个作业的运行过程不会显示在Hadoop  管理界面上，但是如果我们把作业上传到服务器上运行，那么作业的运行过程就会显示在管理界面上。

还是以上次的分析最高气温的Map-Reduce为例，源代码可以见 http://supercharles888.blog.51cto.com/609344/878422 这篇博客的内容。我们将其打包成jar包，然后上传到/home/hadoop-user/hadoop-0.20.2/charlestest 目录中：

我们在命令行中执行MaxTemperature类中定义的作业：

hadoop jar ParseWeatherFile.jar com.charles.parseweather.MaxTemperature  input/1901.txt output-001

这里我们执行的入口为 WeatherFile的 jar包中的MaxTemperature类,最后2个参数分别是输入文件位置和输出目录:

运行结果如图：

现在我们就可以去控制台去看整个过程了：

我们去http://192.168.129.35:50030/jobtracker.jsp 来看map-reduce过程。

在Completed Job部分，我们看到了刚才运行的作业：

对比Job Name刚好是我们在job类中设定的名字，见第43行所示：

  
  


   
   
package com.charles.parseweather; 

   
   
 

   
   
 

   
   
import org.apache.hadoop.conf.Configuration; 

   
   
import org.apache.hadoop.fs.Path; 

   
   
import org.apache.hadoop.io.IntWritable; 

   
   
import org.apache.hadoop.io.Text; 

   
   
import org.apache.hadoop.mapreduce.Job; 

   
   
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 

   
   
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; 

   
   
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 

   
   
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; 

   
   
 

   
   
 

   
   
/** 

   
   
 *  

   
   
 * 

   
   
 * Description: 这个类定义并且运行作业 

   
   
 * 

   
   
 * @author charles.wang 

   
   
 * @created May 24, 2012 5:29:12 PM 

   
   
 * 

   
   
 */ 

   
   
 

   
   
public class MaxTemperature { 

   
   
 

   
   
    /** 

   
   
     * @param args 

   
   
     */ 

   
   
    public static void main(String[] args) throws Exception{ 

   
   
        // TODO Auto-generated method stub 

   
   
 

   
   
         

   
   
        if (args.length !=2){ 

   
   
            System.err.println("Usage: MaxTemperature <input path> <output path>"); 

   
   
            System.exit(-1); 

   
   
        } 

   
   
         

   
   
        //创建一个Map-Reduce的作业 

   
   
        Configuration conf = new Configuration(); 

   
   
        conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user"); 

   
   
         

   
   
        Job job = new Job(conf,"Get Maximum Weather Information! ^_^"); 

   
   
         

   
   
        //设定作业的启动类/  

   
   
        job.setJarByClass(MaxTemperature.class); 

   
   
         

   
   
        //解析输入和输出参数，分别作为作业的输入和输出，都是文件 

   
   
        FileInputFormat.addInputPath(job, new Path(args[0])); 

   
   
        FileOutputFormat.setOutputPath(job, new Path(args[1])); 

   
   
        

   
   
        //配置作业，设定Mapper类，Reducer类 

   
   
        job.setMapperClass(MaxTemperatureMapper.class); 

   
   
        job.setReducerClass(MaxTemperatureReducer.class); 

   
   
        job.setOutputKeyClass(Text.class); 

   
   
       job.setOutputValueClass(IntWritable.class); 

   
   
         

   
   
        System.exit(job.waitForCompletion(true)?0:1); 

   
   
        

   
   
         

   
   
         

   
   
         

   
   
         

   
   
 

   
   
    } 

   
   
 

   
   
} 
  
  

我们点进去，则可以看到Map-Reduce的更多细节：