Reduce 端程序编写-阿里云开发者社区

Reduce 端程序编写

2022-09-30 96

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Reduce 端程序编写

首先编写 Reduce 端编程框架，自定义的 FlowSumReducer 需要继承父类 Reducer，输入数据和输出数据都是**KV 对**的形式。具体框架代码如下：

publicclassFlowSumReducerextendsReducer<Text, FlowBean, Text, FlowBean> {
}

- **KEYIN**：对应 Mapper 端输出的 KEYOUT，即每个手机号，所以是 String，对应 Hadoop 中的 Text

- **VALUEIN**：对应 Mapper 端输出的 VALUEOUT，即封装的流量信息类，所以是 FlowBean

- **KEYOUT**：用户自定义逻辑方法返回数据中key的类型，由用户业务逻辑决定，在此程序中，我们输出的key是手机号，所以是String，对应 Hadoop 中的 Text

- **VALUEOUT**：用户自定义逻辑方法返回数据中value的类型，由用户业务逻辑决定，在此程序中，我们输出的value是累加求和后封装的流量信息类，所以是 FlowBean

已知 Reducer 中的业务逻辑写在 **reduce() 方法**中，在此 reduce()方法中我们需要接收 MapTask 的输出结果，然后按照 key（手机号）对 value（上行流量、下行流量）做**汇总操作**。具体代码如下所示：

@Overrideprotectedvoidreduce(Textkey, Iterable<FlowBean>values,
Reducer<Text, FlowBean, Text, FlowBean>.Contextcontext) throwsIOException, InterruptedException {
longsumUpFlow=0L; // 总上行流量longsumDownFlow=0L; // 总下行流量for (FlowBeanfb : values) {
sumUpFlow+=fb.getUpFlow();
sumDownFlow+=fb.getDownFlow();
    }
// 获取总上行流量和总下行流量，对其进行封装FlowBeanresultsum=newFlowBean(sumUpFlow, sumDownFlow);
// 将手机号作为key，将封装的流量信息类作为value，写出最终结果context.write(key, resultsum);
}

FlowSumReducer.java 的完整代码如下所示：

publicclassFlowSumReducerextendsReducer<Text, FlowBean, Text, FlowBean> {
/** * 框架每传递一组数据<13502468823,{FlowBean,FlowBean,FlowBean...}>调用一次reduce方法* reduce中的业务逻辑是遍历values，然后进行累加求和后输出*/@Overrideprotectedvoidreduce(Textkey, Iterable<FlowBean>values,
Reducer<Text, FlowBean, Text, FlowBean>.Contextcontext) throwsIOException, InterruptedException {
longsumUpFlow=0L; // 总上行流量longsumDownFlow=0L; // 总下行流量for (FlowBeanfb : values) {
sumUpFlow+=fb.getUpFlow();
sumDownFlow+=fb.getDownFlow();
        }
// 获取总上行流量和总下行流量，对其进行封装FlowBeanresultsum=newFlowBean(sumUpFlow, sumDownFlow);
// 将手机号作为key，将封装的流量信息类作为value，写出最终结果context.write(key, resultsum);
    }
}

Reduce 端程序编写

热门文章

最新文章

相关电子书