开发者社区 问答 正文

Hadoop Reduce阶段的shuffle设置map和reduce数量太多、太少有什么影响?

Hadoop Reduce阶段的shuffle设置map和reduce数量太多、太少有什么影响?

展开
收起
游客fq2cv4o24bhvc 2021-12-05 10:24:54 447 分享 版权
1 条回答
写回答
取消 提交回答
  • 设置map和reduce数量太多会导致map和reduce任务间存在竞争,造成处理超时等错误;

    设置map和reduce数量太少会导致task等待,延长处理时间

    2021-12-05 10:26:47
    赞同 展开评论