开发者社区 问答 正文

Hadoop shuffle的Map端是如何进行排序的?

Hadoop shuffle的Map端是如何进行排序的?

展开
收起
游客fq2cv4o24bhvc 2021-12-05 10:42:12 372 分享 版权
1 条回答
写回答
取消 提交回答
  • 先把kvbuffer中的数据按照portition值和key两个关键字来排序,移动的只是索引数据,排序结果是kvmeta中数据按照partition为单位聚集在一起,同一partition内的按照key有序

    2021-12-05 10:44:22
    赞同 展开评论