开发者社区 问答 正文

Hadoop reducetask的sort阶段主要做了什么事情?

Hadoop reducetask的sort阶段主要做了什么事情?

展开
收起
游客fq2cv4o24bhvc 2021-12-05 11:29:55 287 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 按照MapReduce语义,用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起,Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序,因此,ReduceTask只需对所有数据进行一次归并排序即可。

    2021-12-05 11:31:21 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类:
问答标签:
问答地址:
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等