开发者社区> 问答> 正文

spark中的Repartition和Coalesce有什么区别?

spark中的Repartition和Coalesce有什么区别?

展开
收起
芯在这 2021-12-08 22:36:28 306 0
1 条回答
写回答
取消 提交回答
  • repartition一定会发生shuffle,coalesce根据传入的参数来判断是否发生shuffle

    一般情况下增大rdd的partition数量使用repartition,减少partition数量时使用coalesce

    2021-12-08 22:36:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载