flink消费kafka得问题
Hi all,请教一个问题，我起了两个一模一样得flink程序，消费得同一个topic使用的同一个group id。根据程序得运行情况看，两个程序可以同时获取kakfa得全量数据。但我想要得情况是每个flink程序只消费一半得数据，既同一个group id应该做组内竞争得关系。我应该配置什么吗？*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
参考文档里， 两个flink可以消费不同的partitions.
Map<KafkaTopicPartition, Long> specificStartOffsets = new
HashMap<>();specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 0), 23L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 1), 31L);specificStartOffsets.put(new
KafkaTopicPartition("myTopic", 2), 43L);
myConsumer.setStartFromSpecificOffsets(specificStartOffsets);*来自志愿者整理的flink邮件归档
2021-12-08 14:35:55赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
