AI 助理
备案控制台
开发者社区 问答 正文

请教一个问题，不知道大家有没有遇到类似的问题。Flink消费Kafka ，运行一段时间后发现有部分分

请教一个问题，不知道大家有没有遇到类似的问题。Flink消费Kafka ，运行一段时间后发现有部分分区不消费了，其他分区消费正常，重启Flink 作业所有分区都能正常消费。不能消费的分区在Kafka 服务端的coordinator 日志里面没有commit offset记录，Kafka 服务端这些分区所在的主节点服务都是正常的

展开
收起
云上静思 2022-06-19 12:48:03 1329 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 云墩墩

    可以考虑看下是不是checkpoint 时候，为了barrier对齐，出现其他消费过快的分区停止消费等待对齐。整体逻辑就是简单的etl过程，将数据从一个topic消费利用定义好的匹配规则过滤输出到另外一个topic。

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2022-06-19 19:52:45
    赞同 展开评论
问答分类：
消息中间件 Kafka 流计算 云消息队列 Kafka 版 实时计算 Flink版 日志服务
问答标签：
实时计算 Flink版kafka 实时计算 Flink版运行 实时计算 Flink版消费 实时计算 Flink版消费kafka
问答地址：
开发者社区 > 微服务 > 问答
相关问答
flink-cdc 在抽取mysql binlog，运行一段时间 source 就报java.uti
1182
3
0
有大佬知道这是怎么回事么 flink读不到kafka数据
1201
1
0
请问下当flink集群重启之后 kafka消息还是重复 有什么办法解决吗 kafka sink 已设
1179
4
0
麻烦问一下，我们现在的架构是希望数据统一从 Kafka 中出，但是又想用 Flink CDC，请问
1110
1
0
各位, 请问: flink cdc, 用 flink sql 的方式 sink 到 kafka 可以
1395
2
0
flink cdc内置了kafka 监听binlog文件的时候 是把所有监听的数据写入kafka的
1617
4
0
flink版本1.14.2 kafka版本0.11.0.1 精确一次模式生产数据报错，有遇到过的吗？
1696
1
0
有没有人试过ogg => kafka => flink-cdc （ogg-format ）呀？ o
361
0
0
各位kafka里多张表的数据 flink sql如何 分别映射不同的表呢？
822
1
0
如果上游mysql库下的表很多，数据变化很频繁的话，会不会造成下游flink cdc作业消费binl
797
1
0