MapReduce 编程规范| 学习笔记

简介: 快速学习 MapReduce 编程规范

开发者学堂课程【Hadoop 分布式计算框架 MapReduc:MapReduce 编程规范学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1480


MapReduce 编程规范

 

简介:

1、Mapper 阶段

2、Reducer 阶段

3、Driver 阶段

 

用户编写的程序分成三个部分:Mapper、Reducer和Drive。

 

1、Mapper 阶段

(1) 用户自定义的 Mapper 要继承自己的父类

(2) Mapper 的输入数据是 KV 对的形式(KV 的类型可自定义)

(3) Mapper 中的业务逻辑写在 map() 方法中

(4) Mapper 的输出数据是 KV 对的形式(KV 的类型可自定义)

(5) map() 方法(MapTask 进程)对每一个<K,V>调用一次

 

2、Reducer 阶段

(1) 用户自定义的 Reducer 要继承自己的父类

(2) Reducer 的输入数据类型对应 Mapper 的输出数据类型,也是 KV

(3) Reducer 的业务逻辑写在 reduce() 方法中

(4) ReduceTask 进程对每一组相同 k 的 <k,v> 组调用一次 reduce() 方法

 

3、Driver 阶段

相当于 YARN 集群的客户端,用于提交我们整个程序到 YARN 集群,提交的是封装了 MapReduce 程序相关运行参数的 job 对象

相关文章
|
8月前
|
SQL 分布式计算 并行计算
Hadoop学习笔记(三)之MapReduce
Hadoop学习笔记(三)之MapReduce
|
存储 SQL 弹性计算
视频-《 E-MapReduce 组件介绍》|学习笔记(四)
快速学习视频-《 E-MapReduce 组件介绍》
84 0
视频-《 E-MapReduce 组件介绍》|学习笔记(四)
|
存储 分布式计算 运维
视频-《E-MapReduce 组件介绍》|学习笔记(一)
快速学习视频-《E-MapReduce组件介绍》
99 0
视频-《E-MapReduce 组件介绍》|学习笔记(一)
|
SQL 弹性计算 分布式计算
视频-《E-MapReduce》|学习笔记(四)
快速学习视频-《E-MapReduce》
170 0
视频-《E-MapReduce》|学习笔记(四)
|
分布式计算 数据挖掘 Java
MapReduce 基础模型|学习笔记
快速学习 MapReduce 基础模型
147 0
MapReduce 基础模型|学习笔记
|
SQL 分布式计算 Hadoop
Azkaban--使用实战--hadoop 调度(hdfs、mapreduce) | 学习笔记
快速学习 Azkaban--使用实战--hadoop 调度(hdfs、mapreduce)
567 0
Azkaban--使用实战--hadoop 调度(hdfs、mapreduce) | 学习笔记
|
分布式计算 API 调度
Apache Oozie-- 实战操作--集成 hue& 调度 mapreduce 程序|学习笔记
快速学习Apache Oozie-- 实战操作--集成 hue& 调度 mapreduce 程序
144 0
Apache Oozie-- 实战操作--集成 hue& 调度 mapreduce 程序|学习笔记
|
分布式计算 Hadoop Java
Apache Oozie-- 实战操作--调度 mapreduce 程序|学习笔记
快速学习 Apache Oozie-- 实战操作--调度 mapreduce 程序
105 0
Apache Oozie-- 实战操作--调度 mapreduce 程序|学习笔记
|
分布式计算 数据可视化 大数据
集成 Oozie 服务&amp;调度 Mapreduce 程序 | 学习笔记
快速学习 集成 Oozie 服务&amp;调度 Mapreduce 程序
106 0
集成 Oozie 服务&amp;调度 Mapreduce 程序 | 学习笔记
|
SQL 弹性计算 JSON
E-Mapreduce 数据同步|学习笔记
快速学习 E-Mapreduce 数据同步
142 0
E-Mapreduce 数据同步|学习笔记