开发者社区 问答 正文

mapreduce的过程中merger溢写文件是什么?

mapreduce的过程中merger溢写文件是什么?

展开
收起
芯在这 2021-12-11 10:27:45 383 分享 版权
1 条回答
写回答
取消 提交回答
  • merger溢写文件:

    如果map的输出结果非常大,则会产生多个溢出文件。此时会将多个溢写文件合并成一个文件,若有设置Combiner,则也会使用Combiner来合并相同的key。 合并后的文件存放在本地磁盘中,而不是HDFS上。

    2021-12-11 10:28:26
    赞同 展开评论