开发者社区 问答 正文

Spark开发调优有什么?

Spark开发调优有什么?

展开
收起
芯在这 2021-12-06 23:18:45 304 分享 版权
1 条回答
写回答
取消 提交回答
  • 避免创建重复的RDD

    尽可能复用同一个RDD

    对多次使用的RDD进行持久化

    尽量避免使用shuffle类算子

    使用map-side预聚合的shuffle操作

    使用高性能的算子

    2021-12-06 23:18:57
    赞同 展开评论