MapReduce 工作流程(面试重点)| 学习笔记

简介: 快速学习 MapReduce 工作流程(面试重点)

开发者学堂课程【Hadoop 分布式计算框架 MapReduc:MapReduce 工作流程(面试重点)学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1512


MapReduce 工作流程(面试重点)

 

一、MapReduce详细工作流程(一)

1.待处理文本

/user/input ss.txt 200m

2.客户端 submit() 前,获取待处理数据的信息.然后根据参数配置,形成一个任务分配的规划。

3.提交切片信息

Job.split wc.jar Job.xml

4.计算出 MapTask 数量

图片1钱1.png

5.默认 TextInputFormat

6.逻辑运算

7.向环形缓冲区写入 <k、v> 数据

8.分区、排序

9.溢出到文件(分区且区内有序)

10.Merge 归并排序

11.合并

图片1钱2.png


二、MapReduce 详细工作流程(二)

10.Merge 归并排序

11.Mrappmaster

12.所有 MapTask 任务完成后。启动相应数量的 ReduceTask ,井告知 ReduceTask处理数据范围(数据分区)

13.下载到 ReduceTask 本地磁盘,合并文件,归并排序

14.一次读取一组

15.分组

16.默认 TextOutputFomal

图片1钱3.png

目录
打赏
0
0
0
0
42
分享
相关文章
面试的流程,面试的重点
本文介绍了面试流程及各轮面试的重点。通常面试为1-5轮,首轮关注技术实力与项目经验,次轮深入考察技术细节,第三轮侧重项目协调、创新及价值观等软性问题,如职业规划和沟通能力。面试题分为开放型(如项目经验、解决问题思路)和非开放型(如技术细节、手撕算法),需提前准备。测试类问题涉及自动化测试、持续集成等实际应用。
美团面试:手机扫描PC二维码登录,底层原理和完整流程是什么?
45岁老架构师尼恩详细梳理了手机扫码登录的完整流程,帮助大家在面试中脱颖而出。该过程分为三个阶段:待扫描阶段、已扫描待确认阶段和已确认阶段。更多技术圣经系列PDF及详细内容,请关注【技术自由圈】获取。
Android面试之Activity启动流程简述
Android面试之Activity启动流程简述
113 6
Android面试高频知识点(4) 详解Activity的启动流程
Android面试高频知识点(4) 详解Activity的启动流程
42 3
Android面试高频知识点(3) 详解Android View的绘制流程
Android面试高频知识点(3) 详解Android View的绘制流程
41 2
|
5月前
|
拆分软件测试流程,一张图秒杀所有面试
本文主要介绍了软件测试流程的核心内容,包括需求分析、测试用例编写、测试执行、缺陷提交及回归测试等关键步骤。以迭代测试为例,详细说明了每个环节的具体操作和注意事项,并提供了一张测试流程图以便理解。测试流程确保了软件质量,是面试中常见的考察点。
188 7
拆分软件测试流程,一张图秒杀所有面试
Android面试之Activity启动流程简述
Android面试之Activity启动流程简述
33 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等