Flink CDC我的任务初始化过程中感觉会重复的全量读取某些表的数据，这可能是什么情况呢？
大佬们，Flink CDC我的任务初始化过程中感觉会重复的全量读取某些表的数据，比如我同步的几张表加起来数据量也就5000万，现在跑了6000万数据，还没有跑完，并且有的表还没有同步，数据是0，这可能是什么情况呢？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
Flink CDC 在初始化过程中，可能会出现重复的全量读取某些表的数据的情况，这可能有以下原因：
重启任务。如果任务被重启，那么它会重新从上次提交的 checkpoint 恢复，如果 checkpoint 中没有包含该表的元数据，那么该表就会被重新读取。
配置错误。如果数据源配置错误，那么该表可能会被重复读取。
数据库异常。如果数据库出现异常，那么该表可能会被重复读取。
您可以尝试以下方法解决这个问题：检查任务是否被重启。如果任务被重启，那么您可以尝试重新提交 checkpoint。
检查数据源配置是否错误。如果数据源配置错误，那么您可以尝试修改配置。
检查数据库是否正常运行。如果数据库出现异常，那么您需要修复数据库。
如果您仍然无法解决这个问题，请联系 Flink 官方支持人员。2023-09-28 10:33:35赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。