我用cdc同步数据,我savepoint任务后,加了一个要同步的表,重启任务后为啥读不到新加的表的数据啊
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在您使用CDC进行数据同步时,如果遇到添加新表至同步任务后重启仍然无法读取到新表数据的问题,这可能是由于未正确配置或启用对新增表的支持。根据参考资料,您可以按照以下步骤检查和调整您的配置:
确保scan.newly-added-table.enabled
已开启:在您的MySQL Source配置中,需要确认是否已经设置了scan.newly-added-table.enabled: true
。这个设置允许Flink CDC作业识别并处理在作业运行期间新增的表。
使用Savepoint正确重启作业:
注意配置细节:请留意不要同时开启scan.binlog.newly-added-table.enabled
和scan.newly-added-table.enabled
,因为这两个选项是互斥的。
检查表是否存在及权限问题:确认新添加的表确实存在于源数据库中,并且您的数据库账号具有查询该表的权限。
如果以上步骤都已正确执行,但问题依旧存在,请检查是否有其他配置错误或系统日志中是否有相关错误提示,以便进一步诊断问题所在。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。