Idea里面老版本MapReduce设置FileInputFormat参数格式变化-阿里云开发者社区

开发者社区> 大数据> 正文

Idea里面老版本MapReduce设置FileInputFormat参数格式变化

简介: MapReduce新手跑wordcount时可能遇见的小错误吧

我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:

Configuration conf = new Configuration();
Job wordCountJob = Job.getInstance(conf);
//省略。。。。
FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");
FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:

   FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));
     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章