MapReduce多重MR如何实现

简介: 一、每次输出文件存在很烦人 // 判断output文件夹是否存在,如果存在则删除 Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录) FileSystem fileSystem = path.

一、每次输出文件存在很烦人

// 判断output文件夹是否存在,如果存在则删除  
        Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)  
        FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
        if (fileSystem.exists(path)) {  
            fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除  
        }  

二、多重MR

    /设置第一轮MapReduce的相应处理类与输入输出  
        Job job1 = new Job(conf);  
        .
        .
        .
  
        // 定义一个临时目录,先将任务的输出结果写到临时目录中, 下一个job以临时目录为输入目录。  
        FileInputFormat.addInputPath(job1, new Path(otherArgs[0]));  
        Path tempDir = new Path("temp_"  
                + Integer.toString(new Random().nextInt(Integer.MAX_VALUE)));  
        FileOutputFormat.setOutputPath(job1, tempDir);  
  
        if (job1.waitForCompletion(true)) {//如果第一轮MapReduce完成再做这里的代码  
            Job job2 = new Job(conf);  
            FileInputFormat.addInputPath(job2, tempDir);  
            //设置第二轮MapReduce的相应处理类与输入输出  
            .
            .
            FileOutputFormat.setOutputPath(job2, new Path(otherArgs[1]));  
            
            FileSystem.get(conf).deleteOnExit(tempDir);//搞完删除刚刚的临时创建的输入目录  
            System.exit(job2.waitForCompletion(true) ? 0 : 1);  
        }          

  

目录
相关文章
|
7月前
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
84 1
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
100 3
|
6月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
65 1
|
6月前
|
数据采集 SQL 分布式计算
|
7月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
76 1
|
7月前
|
分布式计算 并行计算 搜索推荐
Hadoop MapReduce计算框架
【5月更文挑战第10天】HadoopMapReduce计算框架
56 3

热门文章

最新文章