开发者社区> 问答> 正文

MR运行的完整过程是什么?

MR运行的完整过程是什么?

展开
收起
游客mm5dulkpivqdo 2021-12-06 18:01:37 318 0
1 条回答
写回答
取消 提交回答
  • Map在读取数据时,先将数据拆分成若干数据,并读取到Map方法中被处理。数据在输出的时候,被分成若干分区并写入内存缓存(buffer)中,内存缓存被数据填充到一定程度会溢出到磁盘并排序,当Map执行完后会将一个机器上输出的临时文件进行归并存入到HDFS中。

    2021-12-06 18:01:59
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
《Pulsar 2.8.0 功能特性概述及规划》 立即下载
Spark优化实践 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载