AI 助理
备案控制台
开发者社区 问答 正文

flink接收kafka数据,利用keyby做窗口聚合,怎么才能避免数据倾斜 #Flink

flink接收kafka数据,利用keyby做窗口聚合,怎么才能避免数据倾斜 #Flink

展开
收起
黄一刀 2020-05-07 20:14:25 2139 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 黄二刀

    1key打散，2预聚合

    2020-05-07 20:14:40
    赞同 展开评论
问答分类：
消息中间件 Kafka 流计算 实时计算 Flink版 云消息队列 Kafka 版
问答标签：
实时计算 Flink版数据 实时计算 Flink版kafka 云消息队列 Kafka 版flink 云消息队列 Kafka 版接收 云消息队列 Kafka 版数据
问答地址：
开发者社区 > 微服务 > 问答
相关问答
flinkcdc keyby 之后 同一key在一个slot吗 ？
254
1
0
Flink DataStream keyby以后reduce，如果只想保留最后的结果有什么好办法吗？
142
1
0
Flink中keyby以后是按照每个key值分别开窗吧？不同key值的窗口是互不影响的对吗？
107
1
0
Flink 这个对应的场景是，keyBy分组，然后进行反序列化的时候报错，请问这个有人知道为啥吗？
126
0
0
FlinkSql在进行窗口聚合的时候，出现无数据情况，kafka消息频率每秒50条
178
2
0
Flink CDC 里mysql source并发度大于1，在每个keyby分区里面数据是排序的吗？
99
1
0
Flink有没有什么办法解决keyBy后乱序的问题？
395
2
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1207
1
0
请问下当flink集群重启之后 kafka消息还是重复 有什么办法解决吗 kafka sink 已设
1182
4
0
麻烦问一下，我们现在的架构是希望数据统一从 Kafka 中出，但是又想用 Flink CDC，请问
1111
1
0