开发者社区> 朱祺> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

阿里云大数据ACP认证知识点梳理7——MAP REDUCE

简介:
+关注继续查看

image

1、输入数据:对文本进行分片,将每片内的数据作为单个Map Worker的输入。

2、Map阶段:Map处理输入,每获取一个数字,将数字的Count 设置为1,并将此对输出,此时以Word作为输出数据的Key。

3、Shuffle>合并排序:在Shuffle阶段前期,首先对每个Map Worker的输出,按照Key值(即Word值)进行排序。排序后进行Combiner操作,即将Key值(Word值)相同的Count累加,构成一个新的对。此过程被称为合并排序。
4、Shuffle>分配Reduce:在Shuffle阶段后期,数据被发送到Reduce端。Reduce Worker收到数据后依赖Key值再次对数据排序。

5、Reduce阶段:每个Reduce Worker对数据进行处理时,采用与Combiner相同的逻辑,将Key值(Word 值)相同的Count累加,得到输出结果。

6、输出结果数据。

**MAPREDUCE规则限制:
**

MaxCompute提供三个版本的MapReduce编程接口,如下所示:

MaxCompute MapReduce、MaxCompute的原生接口,执行速度更快,开发更便捷,不暴露文件系统。

MR2(扩展MapReduce):对MaxCompute MapReduce的扩展,支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。

Hadoop兼容版本:高度兼容Hadoop MapReduce ,与MaxCompute原生MapReduce,MR2不兼容。

不能通过MapReduce读写外部表中的数据。

MaxCompute MapReduce的输入、输出,支持MaxCompute内置类型的Bigint、Double、String、Datetime和Boolean类型,不支持您自定义类型。

接受多表输入,且输入表的Schema可以不同。在map函数中,您可以获取当前Record对应的Table信息。

输入可以为空,不支持视图(View)作为输入。

Reduce接受多路输出,可以输出到不同表,或者同一张表的不同分区。不同输出的Schema可以不同。不同输出间通过label进行区分,默认输出不必加label,但目前不接受没有输出的情况。

**JAVA沙箱:
**

MaxCompute MapReduce及UDF程序在分布式环境中运行时,受到Java沙箱的限制(MapReduce作业的主程序,例如MR Main则不受此限制),具体限制如下所示。

不允许直接访问本地文件,只能通过MaxCompute MapReduce/Graph提供的接口间接访问。

读取resources选项指定的资源,包括文件、Jar包和资源表等。

通过System.out和System.err输出日志信息,可以通过MaxCompute客户端的Log命令查看日志信息。

不允许直接访问分布式文件系统,只能通过MaxCompute MapReduce/Graph访问到表的记录。

不允许JNI调用限制。

不允许创建Java线程,不允许启动子进程执行Linux命令。

不允许访问网络,包括获取本地IP地址等,都会被禁止。

Java反射限制:suppressAccessChecks权限被禁止,无法setAccessible某个private的属性或方法,以达到读取private属性或调用private方法的目的。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云ACP云计算认证通过心得
快速通过阿里云ACP认证的小技巧
251 0
阿里云大数据专业认证考试是什么?大数据是什么?
现在随着企业的发展以及互联网时代的到来,资源的增加都需要服务器扩容,而且在现在大数据盛行的现在,网络更是无处不在。关于大数据以容量大、类型多,好多人现在学习,以下我们就来了解关于阿里云大数据专业认证考试的内容。
104 0
阿里云大数据专业认证的好处?
这是一个信息化的时代,信息化的直接表现就是数据,那这些数据从什么地方来的?是来自人们每天操作手机进行互联网各种行为,产生海量的数据,也称为“大数据”。那么这多的大数据怎么产生商业价值呢?答案就是需要人对数据进行处理,从中找到有价值的信息,然而每个人对数据处理专业水平有高低,那么问题来了,怎么判断一个人数据处理水平呢?
124 0
阿里云acp大数据专业认证考试是什么?大数据是什么?
阿里云大数据专业认证考试是什么?大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
162 0
ACA认证之旅 阿里云大数据助理工程师
认证笔记 - ACA 认证 - 阿里云大数据助理工程师认证
217 0
通过阿里云ACP认证考试心得—云计算篇
根据通过阿里云ACP的复习心得和体会,简要归纳阿里云ACP认证的考试内容,本篇为云计算篇
1899 0
阿里云云计算ACP认证重点梳理2—负载均衡SLB
依据阿里云文档整理了负载均衡SLB相关内容,供阿里云云计算ACP认证考试参考,及作为文档的速查
2688 0
阿里云大数据ACP认证知识点梳理9——产品特点(DATA WORKS)
DATA WORKS(原DATA IDE) 产品特点及重点注意事项
2388 0
+关注
朱祺
阿里云全球MVP(最有价值专家) 阿里云计算ACP 阿里大数据ACP
63
文章
12
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载