kafka connector问题
官网给的kafka table配置里的scan.startup.mode CREATE TABLE kafkaTable ( user_id BIGINT, item_id BIGINT, category_id BIGINT, behavior STRING, ts TIMESTAMP(3) ) WITH ( 'connector' = 'kafka', 'topic' = 'user_behavior', 'properties.bootstrap.servers' = 'localhost:9092', 'properties.group.id' = 'testGroup', 'format' = 'csv', 'scan.startup.mode' = 'earliest-offset' )看了总共有以下几总'earliest-offset', 'latest-offset', 'group-offsets', 'timestamp' and 'specific-offsets'如果我作业重启的话选择group-offsets能否从上次消费到的位置开始？这种情况下需要配置提交offset到kafka broker相关的东西吗？有没有从savepoint保存的offset继续消费的配置？
*来自志愿者整理的flink邮件归档
写回答
-
首先，从checkpoint/savepoint
恢复的话，一定会以checkpoint/savepoint中的offset为准，所以它的优先级是最高的，
不管你配置哪种startup mode。
如果你没有开启checkpoint，那么如果你用了group-offsets，那它就会从保存在kafka中的offset进行启动。
提交offset到kafka这个应该是默认就开了的。*来自志愿者整理的flink邮件归档
2021-12-07 16:41:37赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
