问题一:Flink CDC消息过大flink重启一直是初始化状态并且报错?
Flink CDC我用dinky将mysql数据装换为kafka,消息过大flink重启一直是初始化状态并且报错?
参考回答:
可以尝试以下方法解决此问题:
- 检查 MySQL 日志,查看是否存在频繁重试的情况。
- 检查并检查您的 Flink CDC 资源,比如机器配置、磁盘空间等。
- 检查 Flink CDC 的配置,例如窗口大小、分片数等。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566202
问题二:Flink CDC这个报错有解决方案吗?
Flink CDC这个报错有解决方案吗? 指定mysql -binlog offset启动的时候, flink-cdc 2.4.1版本
参考回答:
this is a bughttps://github.com/ververica/flink-cdc-connectors/issues/2217
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566200
问题三:Flink CDC这个有遇到过吗?
Flink CDC这个有遇到过吗? io.debezium.connector.oracle.OracleStreamingChangeEventSourceMetrics [] - The connector is now using the maximum batch size 100000 when querying the LogMiner view. This could be indicative of large SCN gaps?
参考回答:
这个问题是指 Flink CDC 在读取 Oracle 数据库时使用最大批处理大小 100000 来查询 LogMiner 视图,这可能是由于 SCN 跨度过大引起的。
要解决这个问题,您可以尝试以下方法:
- 降低 Oracle LogMiner 查询批次大小,以减少 SCN 跨度
- 更改 LogMiner 视图的配置,以达到更好的效率
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566189
问题四:flink-cdc 2.4.1 应该搭配什么版本的Flink,现在报guava30找不到类?
flink-cdc 2.4.1 应该搭配什么版本的Flink,现在报guava30找不到类?
参考回答:
Flink 1.13.6报错guava30类找不到
直接加依赖就行了
org.apache.flink
flink-shaded-guava
30.1.1-jre-16.1
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566185
问题五:Flink CDC这个错误怎么改?
Flink CDC这个错误怎么改?
参考回答:
这个错误信息表示Flink CDC在执行过程中丢失了一个事件,为了保持一致性,任务失败并触发故障转移。这可能是由于网络问题或系统错误导致的。
以下是一些可能的解决方案:
- 检查你的Flink集群和网络连接,确保它们正常工作。
- 增加Flink任务的超时时间。在Flink的配置文件中,可以设置
task.execution.timeout
参数来增加任务的超时时间。 - 减小Flink任务的并行度。如果任务的并行度过高,可能会导致网络拥塞或系统错误。
- 检查你的MySQL CDC connector的版本,确保它与你使用的Flink版本兼容。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566179