Flink Kafka作业异常重启，从Checkpoint恢复后重复推送数据部分数据如何处理？
Flink ETL作业生成实时DWD宽表数据，写入Kafka中。 当ETL作业的TM出现异常，自动重启恢复后，作业虽然能从上一次Checkpoint状态恢复，但是会出现重复推送部分数据，导致下游DWS相关作业都要进行去重处理，增加下游作业成本。 想了下解决方案，扩展Kafka Sink，初始化的时候，先读取当前State中记录的位置后面的所有数据，然后写入的时候进行去重处理，恢复到正常位置后，清理掉这部分数据。 想问下大佬们，这种处理方式是否合理，或者有没其他更好的解决方案？ *来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
checkpoint 只能保证 state 的 exactly once，但是单条数据可能重复处理多次，如果是 sink 输出多次的话，或许你可以看一下 TwoPhaseCommitSinkFunction 相关的，这篇文章有一个相关的描述[1]
[1] https://www.ververica.com/blog/end-to-end-exactly-once-processing-apache-flink-apache-kafka*来自志愿者整理的flink
2021-12-07 20:21:39赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
