问题一:Flink CDC这个问题有没有哪位朋友解决过呀,该怎么处理呀?
Flink CDC这个问题有没有哪位朋友解决过呀,该怎么处理呀?org.apache.flink.table.api.validationexception: 'scan.incremental.snapshot.chunk.key-column' must be set when the table doesn't have primary keys%E3%80%82
参考回答:
无pk表需要设置下报错里的参数
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572261
问题二:Flink CDC中mysql cdc 抽取源库一直存在这个问题 ?
Flink CDC中mysql cdc 抽取源库一直存在这个问题 ?Caused by: com.github.shyiko.mysql.binlog.event.deserialization.MissingTableMapEventException: No TableMapEventData has been found for table id:1450112. Usually that means that you have started reading binary log 'within the logical event group' (e.g. from WRITE_ROWS and not proceeding TABLE_MAP有什么好的方案解决吗?
参考回答:
这个问题是由于Flink CDC在读取MySQL二进制日志时没有找到表映射事件。通常来说,这意味着您开始读取逻辑事件组(例如从WRITE_ROWS事件而不是TABLE_MAP事件)。
要解决此问题,您可以尝试以下几种方法:
- 重新启动Flink CDC Job。有可能是因为之前的问题还没有完全清除,重新启动可以解决此问题。
- 检查源数据库中的表是否具有正确的表映射事件。如果没有,请检查源数据库中MySQL二进制日志的设置是否正确。
- 仔细检查您的Flink SQL代码,确保所有的表映射事件都被正确解析。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572259
问题三:Flink CDC我有60w数据同步,slot是8个,大概同步到一般数据的时候会开始提示?
Flink CDC我有60w数据同步,slot是8个,并行度是4个,大概同步到一般数据的时候会开始提示,Could not acquire the minimum required resources。 但是最终60w数据都能跑完,但是后续的增量就无法同步了。我的环境是 springboot 应用,然后启动一个线程 StreamExecutionEnvironment.execute() 的?同步到一半的数据,30w条数据左右的时候。
参考回答:
这个问题可能是由于资源不足导致的。当你设置并行度为4时,Flink会尝试同时运行4个任务来处理数据。如果系统的可用资源不足以支持这些任务,则可能会出现“Could not acquire the minimum required resources”的错误信息。
对于这种问题,你可以考虑以下几种解决方案:
- 增加集群的资源:例如增加更多的CPU、内存等,以便系统能够支持更多的并发任务。
- 调低并行度:将并行度降低至系统可以支持的范围之内。
- 分批处理数据:例如可以先处理一部分数据,然后再处理剩余部分,这样可以减少并发任务的数量,从而减轻对系统资源的压力。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572258
问题四:Flink CDC这个问题有没有哪位朋友解决过呀,该怎么处理呀?
Flink CDC这个问题有没有哪位朋友解决过呀,该怎么处理呀?org.apache.flink.table.api.validationexception: 'scan.incremental.snapshot.chunk.key-column' must be set when the table doesn't have primary keys
参考回答:
这个是参数对无主键表的时候进行拆分使用
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572253
问题五:Flink CDC有没有办法忽略这些无主键的表,或者忽略这个错误呀?
Flink CDC中 flink mysql cdc抽取整个数据库表数据的时候,里面有部分表无主键,就会报错:Caused by: org.apache.flink.table.api.ValidationException: 'scan.incremental.snapshot.chunk.key-column' must be set when the table doesn't have primary keys.,然后作业就会停掉了。有没有办法忽略这些无主键的表,或者忽略这个错误呀?
参考回答:
可以尝试设置 scan.incremental.snapshot.chunk.size
参数为-1来避免此错误,这样 Flink CDC 就会把整个 snapshot 数据作为一次增量快照,而不是按照 chunk 来分块读取。
此外,在Flink 1.15 版本开始,对于没有主键的表,可以通过配置 table.exec.scan.use-push-down-primary-key
参数为 false 来忽略主键检查。
但需要注意的是,这两种方法都可能导致性能下降,因为 Flink CDC 在处理无主键的表时可能无法高效地进行增量更新和删除操作。所以最好的方式还是给每个表加上一个唯一的主键。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572252