问题一:Flink CDC 这个错误有遇到过吗?
Flink CDC 这个错误有遇到过吗?Caused by: org.apache.kafka.connect.errors.ConnectException: Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
参考回答:
是不是字段类型的英文名太小了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572245
问题二:flinkCDC任务执行一周后,task managers就会挂掉,请问一般是什么情况呢?
flinkCDC任务执行一周后,task managers就会挂掉,请问一般是什么情况呢?有什么办法去解决或者是内存调优的办法么?
参考回答:
没资源了,调整集群资源,这和单机没关系的,是你集群资源用完了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572231
问题三:flinkcdc同步mysql遇到这种报错会导致数据丢失吗?
flinkcdc同步mysql遇到这种报错会导致数据丢失吗?感觉这个报错不好在生产复现,启动了两个cdc任务同步一台mysql数据,当启动第三个cdc任务的时候,前两个cdc都会报这个错误?
参考回答:
如果不是server-id重复的问题,需要看日志,每个任务都需要唯一不同server-id,否则会随机分配一个5400-6400之间的,随机分是有可能重复的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572230
问题四:Flink CDC还有其它方式能解决原本的任务数据的一致性么?
Flink CDC中msyql短时间内写入大批量数据 正常读取的cdc任务就会不断的报这个错误 重启,有时候能成功 有时候重启也还是报这个错误,目前还未修复,除了等写入任务结束后,重启任务从最新的日志读,然后补数据,还有其它方式能解决原本的任务数据的一致性么?
目前我这边后续还会经常有大批数据写入的情况 不然每次都得补一遍数据了,这个值默认的30s 我昨天测试加到60s 300s还是会出现
参考回答:
1:尝试增大点心跳时间
2:采集文件数量增大点,不过我好像没遇到你的钱问题,我晚上也会有离线百万的数据来刷数据到mysql,mysql-cdc一直是好的,目前没人修复的话,只能不断通过该参数调试的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572225
问题五:flinkcdc任务发生异常,找不到归档日志的偏移量,为啥会报找不到偏移量的异常呢?
flinkcdc任务发生异常,找不到归档日志的偏移量,我oracle没有设置日志删除。为啥会报找不到偏移量的异常呢?
参考回答:
FlinkCDC任务找不到归档日志的偏移量可能是由于以下几个原因:
- Checkpoint不成功:如果checkpoint设置出现问题或者在故障恢复时checkpoint不完整,可能无法找到正确的偏移量。
- Kafka分区发生变化:如果Kafka topic分区发生变化,在故障恢复时可能会找不到对应的偏移量。
- 系统配置问题:例如history server地址设置不对,导致故障恢复时无法找到正确的偏移量。
- 消息重复或丢失:如果消息重复或丢失,可能导致任务处理状态不同步,从而出现找不到归档日志的偏移量的情况。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572223