WordCount 案例 Reducer| 学习笔记

简介: 快速学习 WordCount 案例 Reducer

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例 Reducer】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1483


WordCount 案例 Reducer


编写 Reducer 类

package com.atguigu.mapreduce.wordcount ;

import java.io.IOException;

import org.apache.hadoop.io.Intwritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

Public class wordcountReducer extenas

Intwritable, Text, Intwritable>{

int aum;

IntWritable v = new Intwritable ( );

@override

protected void reduce (Text key,Iterablevalues ,Contextcontext)

Throws IOException,

InterruptedException {

/ /1累加求和,

sum = 0;

for (Intwritable count : values) {

sum +=count.get ();

}

//2输出

图片7.png

@Suppresswarnings( "unchecked")

protected void reduce(KEYIN key,Iterable<VALUEIN> values,Context contekt

) throws IOException,InterruptedException {

for(VALUEIN value: values) {

context.write((KEYOUT) key,(VALUEOUT) value);

}

protected void cleanup(Context context

) throws IOException,InterruptedException {

// NOTHING

}

reduce(context.getCurrentKey(),context.getValues(),context);// If a back up store is used,reset it

Iterator<VALUEIN> iter = context.getValues().iterator();if(iter instanceof ReduceContext.ValueIterator) {

((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();}

}

}finally {

cleanup(context);

}

图片8.png

相关文章
|
3月前
|
分布式计算 数据库
Mapreduce中的Mapper&reducer
【9月更文挑战第19天】在 MapReduce 框架中,Mapper 和 Reducer 是处理大规模数据集的关键组件。Mapper 负责将输入数据分割成键值对,而 Reducer 则对这些键值对进行汇总处理,生成最终结果。两者通过并行处理和分布式计算协同工作,Mapper 将数据转换为键值对,Reducer 对相同键的值进行聚合。开发人员需实现相应接口并编写定制逻辑,以充分利用框架优势,处理大规模数据集并获得有价值的结果。
103 7
|
5月前
|
存储 分布式计算 Hadoop
hadoop编写Reducer类
【7月更文挑战第10天】
44 3
|
5月前
|
分布式计算 Hadoop Java
Hadoop编写Combiner类
【7月更文挑战第7天】
25 3
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
存储 分布式计算 Hadoop
Mapreduce中WordCount源码理解
Mapreduce中WordCount源码理解
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
117 0
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
172 0
MapReduce入门例子之WordCount单词计数
|
分布式计算 Hadoop Java
Hadoop学习(三) Map/Reduce编程
用Java编程演示如何来实现Map/Reduce编程。其核心思想是通过Map函数,将一个大的任务拆分成若干个小的子任务,交给计算机去并行处理,全部处理结束后由Reducer函数来合并子任务的计算结果,产生最终结果。这样的计算方式将大大缩短计算时间。
158 0
|
分布式计算
MapReduce编程例子之Combiner与Partitioner
MapReduce编程例子之Combiner与Partitioner
255 0
MapReduce编程例子之Combiner与Partitioner
|
分布式计算 资源调度 并行计算