MapTask 工作机制.| 学习笔记

简介: 快速学习 MapTask 工作机制.

开发者学堂课程【Hadoop 分布式计算框架 MapReduc:MapReduce 工作机制学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1536


MapTask 工作机制.

 

MapTask 工作机制如图4-12所示。

图片1幸运.png 

图4-12

接下来让我们进行 Maptask 工作机制和 Reudce 工作机制的学习,而两者相结合就是 MapReduce 详细工作流程,但在面试官询问时候的角度不一样,或是说法不同,我们应该有所了解。

主要内容

而 Mpatask 工作中主要分为以下五个阶段

图片1幸运2.png

首先获得待处理的信息,再处理切片信息,提交切片、架包、插包信息到集群,然后集群再启用相应的 MrAppMaster,启动之后,就开启相应的 Map Task。

而开启了 Map Task 之后才是真正的 Map Task 工作机制的开始,首先用RecorderReader 去读一行行的数据就是 Read 阶段

 

 

图片1幸运3.png

而读完之后返回相应的 k.v 数据,并把数据写入到 Mapper 之中去则是 Map 阶段

图片1钱钱钱.png

 

往出再写数据,到了环形缓冲区块的时候,就对应着Collect(收集)阶段,包括之后的分区、排序都属于收集阶段。

排序之后往磁盘中进行溢写就是溢写阶段,且溢写可能会有多个,溢写之后对其文件再进行合并就是 Combine 阶段,

而有些面试官就喜好于询问溢写阶段是什么?

Combine 阶段是什么?

答案就同我们图中所表示的一样。而 Collect 阶段做了哪些操作,

我们也要知道是分区和排序。而对于什么排序?默认是什么排序?

采用的手段是什么?

我们也要明白是对于 key,采用了外排等等。

图片1幸运6.png

以上就是所有 MapTask 的工作机制所有内容

相关文章
|
9月前
|
并行计算 Go 调度
Goroutine调度机制深度探究
【2月更文挑战第17天】Goroutine作为Go语言轻量级的并发执行体,其高效的调度机制是Go语言并发性能卓越的关键。本文将深入探究Goroutine的调度原理、调度器的实现以及调度过程中的优化策略,帮助读者全面了解Goroutine调度机制的内部工作机理,从而更好地利用Go语言的并发特性。
|
13天前
|
分布式计算 Spark
【赵渝强老师】Spark的容错机制:检查点
Spark通过Checkpoint机制将RDD状态持久化到磁盘,以支持容错。当任务执行出错时,可以从检查点位置重新计算,减少开销。Checkpoint目录可设置为本地文件夹或HDFS。建议生产系统使用高可靠的文件系统保存检查点。文中详细介绍了在本地和HDFS上设置检查点目录的步骤,并附有代码示例和视频讲解。
|
6月前
|
算法 JavaScript 前端开发
V8 的垃圾收集过程是如何工作的呢
【8月更文挑战第31天】V8 的垃圾收集过程是如何工作的呢
41 0
|
7月前
|
并行计算 安全 Java
线程操纵术并行策略问题之任务执行器(Executor)问题如何解决
线程操纵术并行策略问题之任务执行器(Executor)问题如何解决
|
存储
15 DATANODE的工作机制
15 DATANODE的工作机制
127 0
|
9月前
|
存储 算法 Java
工作5年,我竟发现JVM只用这4个技巧就可以轻松调优
Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。
43 0
|
9月前
|
缓存 分布式计算 搜索推荐
MapReduce【MapTask和ReduceTask的工作机制】
MapReduce【MapTask和ReduceTask的工作机制】
|
存储 数据管理
14 NAMENODE的工作机制
14 NAMENODE的工作机制
98 0
|
分布式计算
MapTask、Shuffle、ReduceTask工作机制
MapTask、Shuffle、ReduceTask工作机制
79 0
|
算法 调度
【操作系统篇】第五篇——调度(概念,层次,调度时机,切换与过程,方式,评价指标)
【操作系统篇】第五篇——调度(概念,层次,调度时机,切换与过程,方式,评价指标)
【操作系统篇】第五篇——调度(概念,层次,调度时机,切换与过程,方式,评价指标)

热门文章

最新文章

相关实验场景

更多