Flink CDC有谁遇到同步报错这个的吗?然后就卡住了,ERROR com.ververica.cdc.connectors.mysql.debezium.reader.SnapshotSplitReader - Execute snapshot read task for mysql split MySqlSnapshotSplit{tableId=new_qn.rb_user_bus, splitId='new_qn.rb_user_bus:22', splitKeyType=[user_id
BIGINT NOT NULL], splitStart=[1025972], splitEnd=[1072607], highWatermark=null} fail
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
遇到Flink CDC同步报错并卡住的问题,具体错误信息为执行MySQL表的快照读取任务失败。根据您提供的错误信息和参考资料,这里提供一个解决思路和步骤:
用户在使用Flink CDC进行数据同步时遇到错误,错误发生在对MySQL表new_qn.rb_user_bus
执行快照读取任务期间,导致同步过程暂停。
检查表结构与权限
new_qn.rb_user_bus
有SELECT权限。如果权限不足,需要授予相应权限后重试。检查高水位标记(High Watermark)
日志分析与调试
检查表数据范围
Debezium配置调整
'debezium.inconsistent.schema.handling.mode' = 'warn'
来避免因未知变更而直接失败,并通过日志进一步诊断问题。资源与网络检查
重新初始化或清理Replication Slot
SELECT pg_drop_replication_slot('your_slot_name');
然后在Flink作业配置中添加自动清理slot的设置,如'debezium.slot.drop.on.stop' = 'true'
。
请按照上述步骤逐一排查并尝试解决方案,希望能帮助您解决当前遇到的问题。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。