开发者社区 问答 正文

Hadoop中shuffle工作的原理是什么?

Hadoop中shuffle工作的原理是什么?

展开
收起
游客fq2cv4o24bhvc 2021-12-04 21:24:13 379 分享 版权
1 条回答
写回答
取消 提交回答
  • 对Map的结果进行排序并传输到reduce进行处理map的结果不是直接存放在硬盘,而是利用缓存做一些预排序处理map会调用combiner,每个map完成后都会通知task,然后reduce就可以进行处理

    2021-12-04 21:29:22
    赞同 展开评论
问答分类:
问答标签:
问答地址: