开发者社区 问答 正文

Spark Shuffle 的调优点

Spark Shuffle 的调优点

展开
收起
愚笨如你 2020-02-14 19:19:08 1511 分享 版权
2 条回答
写回答
取消 提交回答
  • 还可以开启压缩,选择压缩算法。还有设置多少个spill文件开始进行merge。

    2020-03-04 21:19:34
    赞同 展开评论
  • Shuffle 的选择 2:缓冲区的大小 3:拉去的数据量的大小 4:间隔时间重试次数。

    2020-02-14 19:19:31
    赞同 展开评论
问答分类:
问答标签:
问答地址: