flink不清理state，从checkpoint恢复任务能重置kafka的offset讨论
Hi everyone： 如题，我遇到有些数据我不应该漏了想回溯部分数据，这个时候我就需要清理state，来重置kafka的offset重新跑，可不可以保留flink任务state，从checkpoint恢复任务的时候重置kafka的offset，并从kafka那个时间段开始消费，而不需要清掉state重新跑数据。*来自志愿者整理的flink邮件归档
写回答
-
Flink的kafka consumer一共有三种offset commit模式： 1. OffsetCommitMode.DISABLED 完全disable offset的commit 2. OffsetCommitMode.ON_CHECKPOINTS Flink的默认行为，只有当Flink checkpoint完成时，才会将offset commit到Kafka 3. OffsetCommitMode.KAFKA_PERIODIC 使用Kafka的internal client的默认行为，周期性将offset commit到kafka 如果不想借助checkpoint来重置kafka的offset，可以利用FlinkKafkaConsumerBase 设置 setCommitOffsetsOnCheckpoints(false)，以及在kakfa properties里面设置 “auto.commit.enable” 为false，这样就相当于没有commit offset，作业恢复的时候，如果你们设置是从kafka consume from latest，既可以恢复checkpoint中的state（你们应该是想要主要恢复keyed state相关吧），也可以从最新的offset消费。*来自志愿者整理的flink邮件归档
2021-12-08 10:24:50赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
