开发者社区> 问答> 正文

MapReduce中的分区机制有哪些?

MapReduce中的分区机制有哪些?

展开
收起
游客daliwbfb2wo66 2021-12-04 20:32:16 204 0
1 条回答
写回答
取消 提交回答
  • 1.如果ReduceTask的数量>getPartition的结果数,则会多产生几个空的输出文件part-r-000xxx;

    2.如果ReduceTask的数量=1,则不管MapTask端输出多少个分区文件,最终结果都交给这一个ReduceTask,最终也就只会产生一个结果文件part-r-00000;

    3.分区号必须从零开始,逐一累加。

    2021-12-04 20:32:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
HBase内核及能力 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
HBase 冷热分离 立即下载