开发者社区> 问答> 正文

我想问下,keyby的时候不同key可以配权重吗?分到task上的流量不均衡怎么解决呀?

我想问下,keyby的时候不同key可以配权重吗?分到task上的流量不均衡怎么解决呀?

展开
收起
赵慧@ApacheFlink中文社区 2018-12-06 21:53:25 2043 0
2 条回答
写回答
取消 提交回答
  • 可以尝试打散,做两层聚合,可以减少数据倾斜

    2019-07-17 23:18:40
    赞同 展开评论 打赏
  • 个人博客: http://wuchong.me

    keyBy配不了权重。如果使用 DataStream.partitionCustom 可以自定义将 key 分到哪个 partition,但是 partitionCustom 之后接的 operator 无法使用 keyed state.

    2019-07-17 23:18:40
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
FLINK在大规模实时无效广告流量检测中的应用 立即下载
Quanta:Quora的HBase分层计数系统 立即下载
低代码开发师(初级)实战教程 立即下载