开发者社区> 问答> 正文

Spark当中有哪些聚合类的算子,我们应该尽量避免什么类型的算子呢?

Spark当中有哪些聚合类的算子,我们应该尽量避免什么类型的算子呢?

展开
收起
游客ahv54x37wvm7u 2021-12-12 20:56:23 728 0
1 条回答
写回答
取消 提交回答
  • 在我们的开发过程中,能避免则尽可能避免使用 reduceByKey、join、distinct、repartition 等会进行 shuffle 的算子,尽量使用 map 类的非 shuffle 算子。这样的话,没有 shuffle 操作或者仅有较少 shuffle 操作的 Spark 作业,可以大大减少性能开销。

    2021-12-12 20:59:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载