Idea里面老版本MapReduce设置FileInputFormat参数格式变化

简介: MapReduce新手跑wordcount时可能遇见的小错误吧

我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:

Configuration conf = new Configuration();
Job wordCountJob = Job.getInstance(conf);
//省略。。。。
FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");
FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:

   FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));
     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));
相关文章
|
1月前
|
开发工具 git
记IDEA Git版本回退并push到远程操作
记IDEA Git版本回退并push到远程操作
56 1
记IDEA Git版本回退并push到远程操作
|
1月前
|
前端开发 Java Maven
Springboot创建项目(idea版本)
Springboot创建项目(idea版本)
|
1月前
|
Java Maven
idea中项目和module的环境版本设置
idea中项目和module的环境版本设置
34 0
|
1月前
IntelliJ IDEA 自定义控制台输出多颜色格式功能 --- 安装Grep Console插件
IntelliJ IDEA 自定义控制台输出多颜色格式功能 --- 安装Grep Console插件
285 0
|
16天前
|
开发工具 数据中心 git
详解IDEA git 版本回滚
详解IDEA git 版本回滚
21 0
|
8天前
|
分布式计算 Hadoop Java
MapReduce编程模型——在idea里面邂逅CDH MapReduce
MapReduce编程模型——在idea里面邂逅CDH MapReduce
29 15
|
1天前
|
Java
idea提示不支持发行版本13
idea提示不支持发行版本13
|
4天前
|
Java
Intellij idea 报错:Error : java 不支持发行版本5
Intellij idea 报错:Error : java 不支持发行版本5
8 0
|
1月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
|
1月前
|
开发工具 git
IDEA通过git怎么回滚到某个提交节点或某个版本
IDEA通过git怎么回滚到某个提交节点或某个版本