flink1.11 mysql cdc checkpoint 失败后程序自动恢复，同步数据出现重复
sourcr：mysql-cdc sink：elasticsearch
问题描述： 从mysql中同步表数据至elasticsearch后，进行新增再删除的某条数据出现问题，导致sink失败（没加primary key）。checkpoint失败，程序自动恢复重启后，checkpoint 成功，但是elasticsearch 中的数据是mysql 表中的两倍，出现重复同步情况。 程序的自动恢复不应该是从当前checkpoint 中记录的binlog 位置再同步么？为什么会再重头同步一次呢？ （ddl 中写死了server-id, " 'table-name' = '"+ table +"'," + " 'server-id' = '"+ serverId +"'" + ）*来自志愿者整理的flink邮件归档
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
在程序自动重启恢复的时候，binlog可能被MySQL服务器删除了，导致debeziume connector读取了新的快照。 参考连接：https://debezium.io/documentation/reference/1.3/connectors/mysql.html#mysql-purges-binlog-files_debezium*来自志愿者整理的flink邮件归档
2021-12-08 19:17:27赞同 展开评论
