开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例测试】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/94/detail/1485
WordCount 案例测试
简介:
1、运行程序驱动
2、输入输出
1、运行驱动程序:
//1获取 Job 对象 Job job = Job.getInstance(conf); //2设置 jar 存储位置 job.setJarByClass(WordcountDriver.class); //3关联 Map 和 Reduce 类 job.setMapperClass(wordcountMapper.class);job.setReducerClass(WordcountReducer.class); //4设置 Mapper 阶段输出数据的 key 和 value 类型 job. setMapOutputKeyClass(Text.class); job.setMapOutputValueclass(Intwritable.class); //5设置最终数据输出的 key 和 value 类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass (Intwritable.class); //6设置输入路径和输出路径 FileInputFormat.setInputpaths(job,new Path(args[0])); FileoutputFormat.setOutputPath(job,new Path(args[1])); //7提交 job // job.submit(); boolean result = job.waitForCompletion(true); System.exit(result ? 0 : 1); |
2、输入输出:
输入到:E 盘→inputorder→inputword
输出到:E 盘→新建 input
运行结束