Idea里面老版本MapReduce设置FileInputFormat参数格式变化

简介: MapReduce新手跑wordcount时可能遇见的小错误吧

我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:

Configuration conf = new Configuration();
Job wordCountJob = Job.getInstance(conf);
//省略。。。。
FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");
FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:

   FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));
     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));
相关文章
|
2月前
|
Java Android开发
IDEA设置项目编码格式【修改为GBK 或 UTF-8】
这篇文章介绍了在IntelliJ IDEA中如何设置项目编码格式,包括将项目编码修改为GBK或UTF-8的详细步骤和图解。
IDEA设置项目编码格式【修改为GBK 或 UTF-8】
IDEA设置Tabs多行显示的方法
这篇文章介绍了在IntelliJ IDEA中设置多行显示Tabs的方法,包括如何取消单行展示Tabs并设置可展示的Tabs数量。
IDEA设置Tabs多行显示的方法
|
2月前
|
XML 数据格式
IDEA 行注释设置,使其不从顶格开始,让其处于代码前开始
这篇文章提供了IntelliJ IDEA中如何设置行注释不从顶格开始,而是紧接在代码前面的方法,通过访问Settings中的Code Style选项进行调整,以改善代码注释的视觉效果。
|
2月前
|
Java
Java系列之 IDEA 为类 和 方法设置注解模板
这篇文章介绍了如何在IntelliJ IDEA中为类和方法设置注解模板,包括类模板的创建和应用,以及两种不同的方法注解模板的创建过程和实际效果展示,旨在提高代码的可读性和维护性。
IDEA如何设置取消 请不要使用行尾注释 提示
文章介绍了如何在 IntelliJ IDEA 中设置以取消行尾注释的提示。这个问题通常由使用阿里规范插件导致,插件会在不满足规范时在代码中显示黄色波浪线提示。为了改善代码编辑体验,文章提供了详细的步骤说明,指导用户通过进入 "File" -> "Settings" -> "Editor" -> "Inspections" 来取消特定检查项,从而消除这些提示。修改设置后,代码界面将不再显示黄色波浪线,看起来更加清爽。
IDEA如何设置取消 请不要使用行尾注释 提示
|
2月前
|
分布式计算 大数据 Hadoop
揭秘MapReduce背后的魔法:从基础类型到高级格式,带你深入理解这一大数据处理利器的奥秘与实战技巧,让你从此不再是编程门外汉!
【8月更文挑战第17天】MapReduce作为分布式计算模型,是大数据处理的基石。它通过Map和Reduce函数处理大规模数据集,简化编程模型,使开发者聚焦业务逻辑。MapReduce分单阶段和多阶段,支持多种输入输出格式如`TextInputFormat`和`SequenceFileInputFormat`。例如,简单的单词计数程序利用`TextInputFormat`读取文本行并计数;而`SequenceFileInputFormat`适用于高效处理二进制序列文件。合理选择类型和格式可有效解决大数据问题。
38 1
|
2月前
|
XML JSON 分布式计算
《揭秘MapReduce:类型与格式的深度探索》——带你遨游在MapReduce的海洋里,从类型到格式,一文掌握数据处理的秘诀!
【8月更文挑战第17天】MapReduce是一种编程模型,用于处理超大数据集(>1TB)的并行运算。它借用了函数式编程中的“Map(映射)”和“Reduce(归约)”概念。类型指数据种类,如整数、浮点数、字符串等,决定了处理方式;格式指数据结构,如文本文件、CSV、JSON等,影响处理流程。例如,统计各年龄段用户数量时,Mapper将年龄映射为键值对,Reducer将相同年龄的值相加,得出各年龄段的总数。正确选择类型和格式能提升处理效率与准确性。
29 1
|
2月前
|
搜索推荐
IDEA中设置背景图片(超详细)
这篇文章提供了在IntelliJ IDEA中设置背景图片的详细步骤,包括安装Background Image Plus插件和调整图片透明度等个性化设置。
IDEA中设置背景图片(超详细)
|
算法
IDEA 2018以后的版本激活方式
摘抄自以下连接: http://idea.iteblog.com/key.php http://intellij.mandroid.cn/ http://idea.imsxm.com/ Idea 2018.1.5+激活破解除去黄色警告框 最近更新了Intellij IDEA到2018.1.5之后,使用之前的授权服务器(http://idea.imsxm.com)会提示Outdated License Server Detected,大意就是下个版本的IDEA会更换授权服务器的算法,之前破解的算法会失效。
4700 0
|
3月前
|
IDE Oracle Java
day4:JDK、IntelliJ IDEA的安装和环境变量配置
【7月更文挑战第4天】🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!
174 0