WordCount 案例 Reducer| 学习笔记

简介: 快速学习 WordCount 案例 Reducer

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Reducer】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1483


WordCount 案例 Reducer


编写 Reducer 类

package com.atguigu.mapreduce.wordcount ;

import java.io.IOException;

import org.apache.hadoop.io.Intwritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

Public class wordcountReducer extenas

Intwritable, Text, Intwritable>{

int aum;

IntWritable v = new Intwritable ( );

@override

protected void reduce (Text key,Iterablevalues ,Contextcontext)

Throws IOException,

InterruptedException {

/ /1累加求和,

sum = 0;

for (Intwritable count : values) {

sum +=count.get ();

}

//2输出

图片7.png

@Suppresswarnings( "unchecked")

protected void reduce(KEYIN key,Iterable<VALUEIN> values,Context contekt

) throws IOException,InterruptedException {

for(VALUEIN value: values) {

context.write((KEYOUT) key,(VALUEOUT) value);

}

protected void cleanup(Context context

) throws IOException,InterruptedException {

// NOTHING

}

reduce(context.getCurrentKey(),context.getValues(),context);// If a back up store is used,reset it

Iterator<VALUEIN> iter = context.getValues().iterator();if(iter instanceof ReduceContext.ValueIterator) {

((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();}

}

}finally {

cleanup(context);

}

图片8.png

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
100 3
|
5月前
|
存储 分布式计算 Hadoop
hadoop编写Reducer类
【7月更文挑战第10天】
45 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop编写Combiner类
【7月更文挑战第7天】
27 3
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(一)
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(一)
|
存储 缓存 分布式计算
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(二)
Spark学习--3、WordCount案例、RDD序列化、RDD依赖关系、RDD持久化(二)
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
存储 分布式计算 Hadoop
Mapreduce中WordCount源码理解
Mapreduce中WordCount源码理解
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
178 0
MapReduce入门例子之WordCount单词计数
|
分布式计算 Hadoop Java
Hadoop学习(三) Map/Reduce编程
用Java编程演示如何来实现Map/Reduce编程。其核心思想是通过Map函数,将一个大的任务拆分成若干个小的子任务,交给计算机去并行处理,全部处理结束后由Reducer函数来合并子任务的计算结果,产生最终结果。这样的计算方式将大大缩短计算时间。
164 0
|
分布式计算
MapReduce编程例子之Combiner与Partitioner
MapReduce编程例子之Combiner与Partitioner
259 0
MapReduce编程例子之Combiner与Partitioner