开发者社区 问答 正文

Spark经常说的Repartition是什么?

Spark经常说的Repartition是什么?

展开
收起
游客ahv54x37wvm7u 2021-12-13 20:15:56 706 分享 版权
1 条回答
写回答
取消 提交回答
  • 简单的说:返回一个恰好有numPartitions个分区的RDD,可以增加或者减少此RDD的并行度。内部,这将使用shuffle重新分布数据,如果你减少分区数,考虑使用coalesce,这样可以避免执行shuffle。目的:

    避免小文件

    减少 Task 个数

    但是会增加每个 Task 处理的数据量

    2021-12-13 20:16:09
    赞同 展开评论
问答分类:
问答标签:
问答地址: