开发者社区 问答 正文

Hadoop Map阶段的shuffle是如何进行优化的?

Hadoop Map阶段的shuffle是如何进行优化的?

展开
收起
游客fq2cv4o24bhvc 2021-12-05 10:31:07 299 分享 版权
1 条回答
写回答
取消 提交回答
  • 1、增大环形缓冲区大小

    2、增大环形缓冲区溢写的比例

    3、减少对溢写文件的merge次数

    4、不影响实际业务的前提下,采用combiner提前合并,减少I/O

    2021-12-05 10:32:54
    赞同 展开评论