开发者社区> 问答> 正文

Flink分区策略一般都有哪些呀?

Flink分区策略一般都有哪些呀?

展开
收起
游客4iodw4vsbx244 2021-12-08 18:05:56 612 0
1 条回答
写回答
取消 提交回答
  • GlobalPartitioner 数据会被分发到下游算子的第一个实例中进行处理。

    ShufflePartitioner 数据会被随机分发到下游算子的每一个实例中进行处理。

    RebalancePartitioner 数据会被循环发送到下游的每一个实例中进行处理。

    RescalePartitioner 这种分区器会根据上下游算子的并行度,循环的方式输出到下游算子的每个实例。这里有点难以理解,假设上游并行度为2,编号为A和B。下游并行度为4,编号为1,2,3,4。那么A则把数据循环发送给1和2,B则把数据循环发送给3和4。假设上游并行度为4,编号为A,B,C,D。下游并行度为2,编号为1,2。那么A和B则把数据发送给1,C和D则把数据发送给2。

    BroadcastPartitioner 广播分区会将上游数据输出到下游算子的每个实例中。适合于大数据集和小数据集做Jion的场景。

    ForwardPartitioner ForwardPartitioner 用于将记录输出到下游本地的算子实例。它要求上下游算子并行度一样。简单的说,ForwardPartitioner用来做数据的控制台打印。

    KeyGroupStreamPartitioner Hash分区器。会将数据按 Key 的 Hash 值输出到下游算子实例中。

    CustomPartitionerWrapper 用户自定义分区器。需要用户自己实现Partitioner接口,来定义自己的分区逻辑

    2021-12-08 18:06:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载