MapReduce 工作流程(面试重点)| 学习笔记

简介: 快速学习 MapReduce 工作流程(面试重点)

开发者学堂课程【Hadoop 分布式计算框架 MapReduc:MapReduce 工作流程(面试重点)学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1512


MapReduce 工作流程(面试重点)

 

一、MapReduce详细工作流程(一)

1.待处理文本

/user/input ss.txt 200m

2.客户端 submit() 前,获取待处理数据的信息.然后根据参数配置,形成一个任务分配的规划。

3.提交切片信息

Job.split wc.jar Job.xml

4.计算出 MapTask 数量

图片1钱1.png

5.默认 TextInputFormat

6.逻辑运算

7.向环形缓冲区写入 <k、v> 数据

8.分区、排序

9.溢出到文件(分区且区内有序)

10.Merge 归并排序

11.合并

图片1钱2.png


二、MapReduce 详细工作流程(二)

10.Merge 归并排序

11.Mrappmaster

12.所有 MapTask 任务完成后。启动相应数量的 ReduceTask ,井告知 ReduceTask处理数据范围(数据分区)

13.下载到 ReduceTask 本地磁盘,合并文件,归并排序

14.一次读取一组

15.分组

16.默认 TextOutputFomal

图片1钱3.png

相关文章
|
算法 测试技术 持续交付
面试的流程,面试的重点
本文介绍了面试流程及各轮面试的重点。通常面试为1-5轮,首轮关注技术实力与项目经验,次轮深入考察技术细节,第三轮侧重项目协调、创新及价值观等软性问题,如职业规划和沟通能力。面试题分为开放型(如项目经验、解决问题思路)和非开放型(如技术细节、手撕算法),需提前准备。测试类问题涉及自动化测试、持续集成等实际应用。
|
缓存 前端开发 中间件
[go 面试] 前端请求到后端API的中间件流程解析
[go 面试] 前端请求到后端API的中间件流程解析
|
存储 NoSQL 前端开发
美团面试:手机扫描PC二维码登录,底层原理和完整流程是什么?
45岁老架构师尼恩详细梳理了手机扫码登录的完整流程,帮助大家在面试中脱颖而出。该过程分为三个阶段:待扫描阶段、已扫描待确认阶段和已确认阶段。更多技术圣经系列PDF及详细内容,请关注【技术自由圈】获取。
|
运维 测试技术
拆分软件测试流程,一张图秒杀所有面试
本文主要介绍了软件测试流程的核心内容,包括需求分析、测试用例编写、测试执行、缺陷提交及回归测试等关键步骤。以迭代测试为例,详细说明了每个环节的具体操作和注意事项,并提供了一张测试流程图以便理解。测试流程确保了软件质量,是面试中常见的考察点。
1345 7
拆分软件测试流程,一张图秒杀所有面试
|
消息中间件 存储 前端开发
面试官:说说停止线程池的执行流程?
面试官:说说停止线程池的执行流程?
250 2
面试官:说说停止线程池的执行流程?
|
Android开发
Android面试之Activity启动流程简述
Android面试之Activity启动流程简述
331 6
|
消息中间件 Android开发 索引
Android面试高频知识点(4) 详解Activity的启动流程
Android面试高频知识点(4) 详解Activity的启动流程
427 3
|
XML 前端开发 Android开发
Android面试高频知识点(3) 详解Android View的绘制流程
Android面试高频知识点(3) 详解Android View的绘制流程
259 2
|
XML 前端开发 Android开发
Android面试高频知识点(3) 详解Android View的绘制流程
Android面试高频知识点(3) 详解Android View的绘制流程
Android面试高频知识点(3) 详解Android View的绘制流程
|
存储 安全 Java
JVM常见面试题(二):JVM是什么、由哪些部分组成、运行流程,JDK、JRE、JVM关系;程序计数器,堆,虚拟机栈,堆栈的区别是什么,方法区,直接内存
JVM常见面试题(二):JVM是什么、由哪些部分组成、运行流程是什么,JDK、JRE、JVM的联系与区别;什么是程序计数器,堆,虚拟机栈,栈内存溢出,堆栈的区别是什么,方法区,直接内存
JVM常见面试题(二):JVM是什么、由哪些部分组成、运行流程,JDK、JRE、JVM关系;程序计数器,堆,虚拟机栈,堆栈的区别是什么,方法区,直接内存

热门文章

最新文章