ReduceJoin 理论| 学习笔记

简介: 快速学习 ReduceJoin 理论

开发者学堂课程【Hadoop 分布式计算框架 MapReduc:ReduceJoin 理论】学习

笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1544


ReduceJoin 理论

内容介绍

1.ReduceJoin 工作原理

l Map 端的主要工作

l Reduce 端的主要工作

 

1.ReduceJoin 工作原理

l Map 端的主要工作∶

为来自不同表或文件的 key/value 对,打标签以区别不同来源的记录。然后用连接字段作为 key,其余部分和新加的标志作为 value,最后进行输出。

l Reduce 端的主要工作:

在 Reduce 端以连接字段作为 key 的分组已经完成,我们只需要在每一个分组当中将那些来源w不同文件的记录(在 Map 阶段已经打标志分开,最后进行合并就 ok 了。

相关文章
|
机器学习/深度学习 搜索推荐 算法
多任务学习之mmoe理论详解与实践
多任务学习之mmoe理论详解与实践
多任务学习之mmoe理论详解与实践
|
23天前
|
存储 安全 数据安全/隐私保护
Libavutil详解:理论与实战
Libavutil详解:理论与实战
18 0
|
2月前
|
Java Spring
ObjectProvider的理论与实战
ObjectProvider的理论与实战
23 0
|
5月前
[1] 理论一:吸收能力理论
[1] 理论一:吸收能力理论
42 1
|
7月前
|
人工智能 算法 数据库
第6章 关系数据理论——复习笔记
第6章 关系数据理论——复习笔记
|
8月前
基本理论
基本理论
43 0
|
9月前
|
信息无障碍
学习总结(抓沙理论、盲人摸象、高屋建瓴、囫囵吞枣)
学习总结(抓沙理论、盲人摸象、高屋建瓴、囫囵吞枣)
63 0
|
机器学习/深度学习 监控 搜索推荐
快看 esmm 模型理论与实践
快看 esmm 模型理论与实践
快看 esmm 模型理论与实践
|
存储 数据库
数据库系统概论第六章(关系数据理论)知识点总结(3)—— 范式知识点总结
假定2014104学生只选修了3号课程这一门课,现在因身体不适,不选修3号课程了,要将课程号删除,但同时,由于课程号是主属性,此操作将导致该整个元组的删除。这样,2014104学生信息都被删除了
176 0
数据库系统概论第六章(关系数据理论)知识点总结(3)—— 范式知识点总结