开发者社区> 问答> 正文

Spark Shuffle 的调优点

Spark Shuffle 的调优点

展开
收起
愚笨如你 2020-02-14 19:19:08 1470 0
2 条回答
写回答
取消 提交回答
  • 还可以开启压缩,选择压缩算法。还有设置多少个spill文件开始进行merge。

    2020-03-04 21:19:34
    赞同 展开评论 打赏
  • Shuffle 的选择 2:缓冲区的大小 3:拉去的数据量的大小 4:间隔时间重试次数。

    2020-02-14 19:19:31
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载