开发者社区> 问答> 正文

MapReduce中MapTask工作机制中的Combine阶段的工作是什么?

MapReduce中MapTask工作机制中的Combine阶段的工作是什么?

展开
收起
游客daliwbfb2wo66 2021-12-04 20:40:45 656 0
1 条回答
写回答
取消 提交回答
  • Combine阶段:当所有数据处理完成后,MapTask对所有临时文件进行一次合并,以确保最终只会生成一个数据文件。 当所有数据处理完后,MapTask会将所有临时文件合并成一个大文件,并保存到文件output/file.out中,同时生成相应的索引文件output/file.out.index。

    2021-12-04 20:41:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink中的两类新型状态存储 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
Quanta:Quora的HBase分层计数系统 立即下载