WordCount2

简介: <p><span style="font-size:14px">WordCount2中我们使用Hadoop框架中给我们提供的类来实现,我们的目的是用最少的代码来完成同样的任务</span></p> <p></p><pre name="code" class="java">import java.io.IOException;import org.apache.hadoop.fs.P

WordCount2中我们使用Hadoop框架中给我们提供的类来实现,我们的目的是用最少的代码来完成同样的任务

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.lib.LongSumReducer;
import org.apache.hadoop.mapred.lib.TokenCountMapper;



public class WordCount2 {

	public static void main(String[] args) {
		JobClient job =new JobClient();
		JobConf conf = new JobConf(WordCount2.class);
		
		FileInputFormat.addInputPath(conf, new Path(args[0]));
		FileOutputFormat.setOutputPath(conf, new Path(args[1]));
		
		conf.setOutputKeyClass(Text.class);
		conf.setOutputValueClass(LongWritable.class);
		
		conf.setMapperClass(TokenCountMapper.class);
		conf.setCombinerClass(LongSumReducer.class);
		conf.setReducerClass(LongSumReducer.class);
		
		job.setConf(conf);
		
		try {
			JobClient.runJob(conf);
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}


目录
相关文章
|
4月前
|
分布式计算 Hadoop
使用Hadoop ToolRunner 运行wordcount demo
使用Hadoop ToolRunner 运行wordcount demo
26 0
|
10月前
|
分布式计算 大数据 Spark
|
11月前
|
存储 分布式计算 资源调度
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
132 0
MapReduce入门例子之WordCount单词计数
|
分布式计算 Hadoop Java
Mapreduce实验之wordcount
利用hadoop函数,标准输出输出堆中的k个单词与频次。
Mapreduce实验之wordcount
|
分布式计算 Hadoop 开发者
WordCount 案例 Reducer| 学习笔记
快速学习 WordCount 案例 Reducer
WordCount 案例 Reducer| 学习笔记
|
存储 分布式计算 资源调度
Hadoop之MapReduce01【自带wordcount案例】
Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析应用”的核心框架,Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上.
Hadoop之MapReduce01【自带wordcount案例】
|
分布式计算 Java Hadoop
Hadoop之MapReduce02【自定义wordcount案例】
Hadoop之MapReduce02【自定义wordcount案例】
Hadoop之MapReduce02【自定义wordcount案例】
|
分布式计算 Java Hadoop
Hadoop WordCount案例
Hadoop WordCount案例
130 0
Hadoop WordCount案例
|
分布式计算 Spark Hadoop