开发者社区> 问答> 正文

spark中HashPartitioner如何分区?

spark中HashPartitioner如何分区?

展开
收起
芯在这 2021-12-11 22:26:14 317 0
1 条回答
写回答
取消 提交回答
  • partition = key.hashCode () % numPartitions,如果余数小于0,则用余数+分区的个数,最后返回的值就是这个key所属的分区ID。

    缺点:可能导致每个分区中数据量的不均匀,极端情况下会导致某些分区拥有RDD的全部数据

    2021-12-11 22:26:28
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载