MapReduce实现WordCount

简介: package algorithm; import java.io.IOException; import java.util.StringTokenizer; import org.
package algorithm;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

//前两个参数是固定的后两个根据需要修改  第四个参数我改成了IntWritable  比int写的快
public class TestMapper1 extends Mapper<LongWritable, Text, Text, IntWritable> {

	//key是行好  value是哪一行内容
	//文件多少行 map调用多少次
	public void map(LongWritable key, Text value, Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		StringTokenizer st = new StringTokenizer(line);
		while(st.hasMoreElements()) {
			String word = st.nextToken();
			context.write(new Text(word), new IntWritable(1));//map的输出
		}
	}

}

  

package algorithm;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class TestReduce1 extends Reducer<Text, IntWritable, Text, IntWritable> {

	public void reduce(Text key, Iterable<IntWritable> iterable, Context context)
			throws IOException, InterruptedException {
		// process values
		int sum = 0;
		for (IntWritable val : iterable) {
			sum += val.get();//get转为整数
		}
		context.write(key, new IntWritable(sum));
	}

}

  

package algorithm;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class Mapreduce1 {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration(); //对应于mapred-site.xml
		Job job = new Job(conf,"WordCount");
		job.setJarByClass(Mapreduce1.class);
		job.setMapperClass(TestMapper1.class);
		job.setReducerClass(TestReduce1.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		
		job.setNumReduceTasks(1);
		//"/in"解析不了  提示文件不存在 因为把他们认为是本地文件了 因为有个 file:/
		FileInputFormat.addInputPath(job, new Path("hdfs://192.168.58.180:8020/in"));
		//输出文件不能存在   
		FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.58.180:8020/wordcount"));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

  

目录
相关文章
|
15天前
|
分布式计算 Hadoop Java
【集群模式】执行MapReduce程序-wordcount
【集群模式】执行MapReduce程序-wordcount
|
15天前
|
分布式计算 Java Hadoop
【本地模式】第一个Mapreduce程序-wordcount
【本地模式】第一个Mapreduce程序-wordcount
|
9月前
|
分布式计算 资源调度 Hadoop
Hadoop基础学习---5、MapReduce概述和WordCount实操(本地运行和集群运行)、Hadoop序列化
Hadoop基础学习---5、MapReduce概述和WordCount实操(本地运行和集群运行)、Hadoop序列化
|
存储 分布式计算 资源调度
|
分布式计算 Ubuntu Hadoop
【集群模式】执行MapReduce程序-wordcount
因为是在hadoop集群下通过jar包的方式运行我们自己写的wordcount案例,所以需要传递的是 HDFS中的文件路径,所以我们需要修改上一节【本地模式】中 WordCountRunner类 的代码
|
分布式计算 Java Hadoop
【本地模式】第一个Mapreduce程序-wordcount
也就是在windows环境下通过hadoop-client相关jar包进行开发的,我们只需要通过本地自己写好MapReduce程序即可在本地运行。
|
分布式计算 资源调度 监控
YARN On Mapreduce搭建与wordCount案例实现
YARN On Mapreduce搭建与wordCount案例实现
|
存储 分布式计算 Hadoop
Mapreduce中WordCount源码理解
Mapreduce中WordCount源码理解
|
分布式计算 安全 Java
在windows跑Mapreduce中wordCount闭坑指南
在windows跑Mapreduce中wordCount闭坑指南
|
分布式计算 Hadoop
Hadoop学习:MapReduce实现WordCount经典案例
Hadoop学习:MapReduce实现WordCount经典案例
134 0