WordCount 案例 Driver| 学习笔记

简介: 快速学习 WordCount 案例 Driver

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Driver】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1484


WordCount 案例 Driver

 

WordCount案例Driver

import

org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import

org.apache.hadoop.mapreduce.lib.output.FileoutputFormat;

public class wordcountDriver {

public static void main (string[] args) throws IOException,ClassNotFoundException,InterruptedException {

// 1获取配置信息以及封装任务

Configuration configuration = new Configuration ( );

Job job = Job.getInstance (configuration) ;

//2设置 jar 加载路径

job.setJarByClass (wordcountDriver.class) ;

//3设置 map 和 reduce 类

job.setMapperClass (wordcountMapper.class);

job.setReducerClass(wordcountReducer.class) ;

//4设置 map 输出

job.setMapoutputKeyClass (Text.class) ;

job.setMapoutputValueClass (Intwritable.class);

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
98 3
|
7月前
|
分布式计算 Hadoop
使用Hadoop ToolRunner 运行wordcount demo
使用Hadoop ToolRunner 运行wordcount demo
54 0
|
6月前
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
64 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop 跑wordcount demo
Hadoop 跑wordcount demo
44 0
|
分布式计算 Hadoop Java
Hadoop的环境搭建以及配置(wordcount示例)(一)
Hadoop的环境搭建以及配置(wordcount示例)
204 0
|
分布式计算 资源调度 Hadoop
Hadoop的环境搭建以及配置(wordcount示例)(二)
Hadoop的环境搭建以及配置(wordcount示例)(二)
115 0
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
117 0
|
存储 分布式计算 Java
WordCount 案例测试| 学习笔记
快速学习 WordCount 案例测试
175 0
WordCount  案例测试| 学习笔记
|
分布式计算 Hadoop Java
WordCount 案例分析| 学习笔记
快速学习 WordCount 案例分析
145 0
WordCount 案例分析| 学习笔记