开发者社区 问答 正文

spark中CustomPartitioner如何分区?

spark中CustomPartitioner如何分区?

展开
收起
芯在这 2021-12-11 22:27:29 323 分享 版权
1 条回答
写回答
取消 提交回答
  • CustomPartitioner自定义分区:

    需要继承org.apache.spark.Partitioner类,sc.parallelize(List((1,‘a’),(1,‘aa’),(2,‘b’),(2,‘bb’),(3,‘c’)), 3).partitionBy(new CustomPartitioner(3))

    2021-12-11 22:27:46
    赞同 展开评论
问答分类:
问答标签:
问答地址: