开发者社区> 问答> 正文

下列代码中MapReduce怎样执行呢?

已解决

下列代码中MapReduce怎样执行呢?

public static void main(Stringlargs)throws Exception{ 
Configuration conf=new Configuration();
confset("dfs.defaultFS""hdfs://hadoop:9000") 
Job job=Job.getinstance(conf,"word count"); 
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class) 
job.setCombinerClass(IntSumReducer.class) 
job.setReducerClass(IntSumReducer.class; 
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FilelnputFormataddinputPath(job,newPath(args[0]); 
FileOutputFormat.setOutputPath(job,new Path(args[1])) 
System.exit(jobwaitForCompletion(true)?0:1);
}

展开
收起
青城山下庄文杰 2022-10-29 20:53:04 302 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    main函数前面做准备工作,创建Configuration对象,里面设置分布式文件系统在什么位置上,针对conf产生作业,作业起名为word count,把输入输出的文件在运行Java虚拟机时传递的参数表示,对指定目录下的文件进行操作输出到目录里,job正常完成系统退出,非正常完成以结束码为1的方式结束。

    2022-10-29 21:18:05
    赞同 展开评论 打赏
问答分类:
来源圈子
更多
收录在圈子:
+ 订阅
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
问答排行榜
最热
最新

相关电子书

更多
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
《Apache Flink-重新定义计算》PDF下载 立即下载
spark替代HIVE实现ETL作业 立即下载