flink sql消费kafka各分区消息不均衡问题
flink sql消费kafka消息做数据同步，前期没有出现堆积不均的问题，这两天发现某些kafka分区积压特别多，会是什么原因造成的？怎样解决呢？从统计结果上看，消息还算均匀地打到各个kafka分区上。作业没有开窗和聚合，只是攒一批写一批这样子的。注：作业是跑在k8s上的
| 分区 ID | 客户端 | 最大位点 | 消费位点 | 堆积量 | | 0 | n/a | 155,397,108 | 155,396,747 | 361 | | 1 | n/a | 155,215,444 | 155,215,108 | 336 | | 2 | n/a | 155,369,596 | 155,369,258 | 338 | | 3 | n/a | 155,422,750 | 155,422,337 | 413 | | 4 | n/a | 155,163,343 | 154,489,738 | 673,605 | | 5 | n/a | 155,401,388 | 154,702,173 | 699,215 | | 6 | n/a | 155,372,040 | 154,651,398 | 720,642 | | 7 | n/a | 155,208,461 | 154,528,301 | 680,160 | | 8 | n/a | 155,383,486 | 154,696,404 | 687,082 | | 9 | n/a | 155,391,068 | 154,668,426 | 722,642 | | 10 | n/a | 155,139,417 | 154,450,377 | 689,040 | | 11 | n/a | 155,411,848 | 155,411,518 | 330 |*来自志愿者整理的flink邮件归档
写回答
-
如果没有具体的 SQL 很难分析这个问题。可以通过 Flink UI
观察各节点各并发的处理数据量看是否有部分并发处理量比较大；另外可以观察每个节点的反压情况，看是否有部分并发反压严重。另外可以特别注意 hash 边，看
hash key 是否有倾斜（这会表现在下游节点不同并发之间处理量差异比较大）。*来自志愿者整理的FLINK邮件归档
2021-12-02 18:17:01赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
