AI 助理
备案控制台
开发者社区 问答 正文

consumer并发与kafka并发不一致的情况

  1. 当kafka consumer的并发大于kafka partition的情况，多余的并发会怎么样？
  2. 当kafka consumer并发等于kafka partition个数，但是kafka partition个别分区没有数据的情况，这个空的partition的consumer线程会怎么样？对barrier和watermark的生成有什么影响？*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:12:35 508 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 雪哥哥

    1. 当kafka consumer的并发大于kafka partition的情况，多余的并发会怎么样？----->这句话是想问当flink slot数大于kafka partition的时候多的slot（其实就是在slot上创建的kafka consumer）会空跑。 如图：kafka partiton为10个，但是flink slot为15，则有5个节点是空跑的状态。

    2. 当kafka consumer并发等于kafka partition个数，但是kafka partition个别分区没有数据的情况，这个空的partition的consumer线程会怎么样？对barrier和watermark的生成有什么影响？ 线程和barrier什么情况不是很清楚，watermarker的话他应该会判断当前通道的状态，空跑节点的通道状态应该会被置为IDLE，从而不会被纳入到从各通道中取最小的watermarker去发往下游算子。*来自志愿者整理的flink邮件归档

    2021-12-08 19:23:40
    赞同 展开评论
问答分类：
消息中间件 Kafka 流计算 云消息队列 Kafka 版 实时计算 Flink版
问答标签：
云消息队列 Kafka 版并发 云消息队列 Kafka 版consumer 并发云消息队列 Kafka 版 consumer云消息队列 Kafka 版
问答地址：
开发者社区 > 微服务 > 问答
相关问答
消息队列Kafka版升配只能根据流量规模来增加对于读的请求的并发能力呢
56
1
0
flink连Kafka的时候consumer状态有办法设置成stable吗？
84
0
0
Kafka的消费者（Consumer）是如何跟踪消息的？
60
1
0
有没有遇到flink1.18连接kafka，没有创建kafka consumer，读不到数据的啊？
239
1
0
在阿里函数计算中， Kafka 触发器【投递并发最大值】是什么？在 yaml 中如何配置？
129
7
0
有没有大佬知道flink任务运行一段时间后的kafka consumer就不消费了，kafka端显示
682
1
0
1.15.1的kafka source consumer offset 存哪里啊？
410
0
0
麻烦问下 从kafka同步10w条数据到odps 30分钟了 还没结束 是要调大并发数么 目前是
1083
1
0
kafka consumer 再平衡步骤是什么？
389
1
0
kafka consumer 什么情况会触发再平衡reblance?
422
1
0