Reduce 端程序编写

简介: Reduce 端程序编写

 **分析**:这里的 `reduce()`方法只需要实现将 Map 端输出的 key-value 调换后输出即可。


publicclassFlowSumSortReducerextendsReducer<FlowBeanSort, Text, Text, FlowBeanSort> {
/** <FlowBeanSort,电话号> ===> <电话号,FlowBeanSort>*/@Overrideprotectedvoidreduce(FlowBeanSortkey, Iterable<Text>values,
Reducer<FlowBeanSort, Text, Text, FlowBeanSort>.Contextcontext) throwsIOException, InterruptedException {
// 遍历集合for (Texttele : values) {
// 将手机号作为key,将封装好的流量信息作为value,作为最终的输出结果context.write(newText(tele), key);
        }
    }
}

- **KEYIN**:对应 Mapper 端输出的 KEYOUT,即封装的流量信息类 FlowBeanSort

- **VALUEIN**:对应 Mapper 端输出的 VALUEOUT,即手机号,所以是 String,对应 Hadoop 中的 Text

- **KEYOUT**:用户自定义逻辑方法返回数据中key的类型,由用户业务逻辑决定,在此程序中,我们输出的key是手机号,所以是String,对应 Hadoop 中的 Text

- **VALUEOUT**:用户自定义逻辑方法返回数据中value的类型,由用户业务逻辑决定,在此程序中,我们输出的value是封装好的实现了自定义排序的流量信息类,所以是 FlowBeanSort

相关文章
|
6月前
|
分布式计算 负载均衡 数据处理
MapReduce中的Combiner函数的作用和使用场景
MapReduce中的Combiner函数的作用和使用场景
266 0
|
5月前
|
Python
在Python中,`map()`, `filter()` 和 `reduce()` 是函数式编程中的三个核心高阶函数。
【6月更文挑战第24天】Python的`map()`应用函数到序列元素,返回新序列;`filter()`筛选满足条件的元素,生成新序列;`reduce()`累计操作序列元素,返回单一结果。
38 3
|
6月前
|
存储 Python
【Python 基础】解释reduce函数的工作原理
【5月更文挑战第6天】【Python 基础】解释reduce函数的工作原理
|
6月前
|
存储 Python
介绍Python中的函数式编程工具,如`map`、`filter`和`reduce`。
介绍Python中的函数式编程工具,如`map`、`filter`和`reduce`。
48 3
|
6月前
|
Python
Python函数式编程,map(), filter() 和 reduce() 函数的作用是什么?
Python函数式编程,map(), filter() 和 reduce() 函数的作用是什么?
67 4
|
6月前
|
Java 数据格式
手写WordCount示例编写
手写WordCount示例编写
35 0
|
12月前
|
流计算
reduce补充二
reduce补充二
46 0
|
索引
reduce的介绍及用法
reduce的介绍及用法
119 0
|
JavaScript 前端开发 索引
reduce你真的会用吗
reduce你真的会用吗
|
分布式计算 大数据 Spark
深入 rdd-初始案例-代码编写 | 学习笔记
快速学习 深入 rdd-初始案例-代码编写
深入 rdd-初始案例-代码编写 | 学习笔记