问题一:Flink CDC 里提示少包但已经把jar包放进去了。还是一样的报错 正确的应该是哪个啊?
Flink CDC 里提示少包但已经把jar包放进去了。还是一样的报错 正确的应该是哪个啊?
参考回答:
这个是包冲突 。应该是kafka。1:flink-connector-mysql-cdc 中过滤掉kafka依赖
2:以上不行的话 看下 flink-kafka/flink-sql-kafka这两个架包干掉一个。我这边就这些就行了,搞了个临时的解决方案,类加载改成了 parent-first,然后打包就可以了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602789
问题二:Flink CDC 里启动flink yarn application任务,任务超时怎么办?
Flink CDC 里启动flink yarn application任务,任务超时怎么办?
参考回答:
参考:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602779
问题三:Flink CDC 里mysql数据库字段类型是time, cdc到Doris的时候异常怎么办?
Flink CDC 里mysql数据库字段类型是time, cdc到Doris的时候异常怎么办?
参考回答:
看下
https://github.com/apache/flink-cdc/pull/2886
应该修复过了,用 3.0.1 试下。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602775
问题四:Flink cdc快照初始化中经常出现这样的异常 subtask任务就fail重启 这个要配置什么?
Flink cdc快照初始化中经常出现这样的异常 subtask任务就fail重启 这个要配置什么?
参考回答:
经常出现问题,那就是网络问题很大了,ping下网关看下,是不是均匀的返回耗时时间在几ms内,ping个5000条看下;解决方法只能调大akka.ask.timeout了。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602773
问题五:Flink CDC 里我在代码中是这样写的,为什么还是将全量数据读取了?
Flink CDC 里我在代码中是这样写的,为什么还是将全量数据读取了?
参考回答:
如果用last-offset 那么 debezium的参数'debezium.snapshot.mode' = 'never' 。
建议用增量快照,就是新的连接器。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602745