问题一:Flink CDC3.0的这个jdbc的参数该怎么写,我这个写法应该不对总是报上面的错?
Flink CDC3.0的这个jdbc的参数该怎么写,我这个写法应该不对总是报上面的错?
参考回答:
jdbc.properties.useSSL: false 试下平铺呢
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/582158
问题二:Flink CDC同步一个实例下的多个库下所有表,这种写法部署后报错了,有相关case能给参考下嘛?
Flink CDC同步一个实例下的多个库下所有表,这种写法部署后报错了,有相关case能给参考下嘛?
用的flink-connector-mysql-cdc 3.0.0
参考回答:
https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B/mysql-doris-pipeline-tutorial-zh.md, tableList 的格式 : voc_test.,bdp_vocrank. 。 要加上库名才行
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/582157
问题三:flinkcdc的mySql到mysql数据同步发生锁超时,应该怎么解决呢?
flinkcdc的mySql到mysql数据同步发生锁超时,Lock wait timeout exceeded; try restarting transaction,有遇到过的吗,应该怎么解决呢?
参考回答:
请使用增量快照算法的
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/581837
问题四:新版本flink1.17-1.19写入ES,官方例子报错 ,怎么解决?
新版本flink1.17-1.19写入ES,官方例子报错 ,怎么解决?java.lang.IllegalStateException: The elasticsearch emitter must be serializable.
参考回答:
在Apache Flink 1.17至1.19版本中,如果你遇到java.lang.IllegalStateException: The elasticsearch emitter must be serializable.
的错误,这是因为Flink作业需要将所有任务相关的状态和函数进行序列化以便在网络上传输和在故障恢复时重新创建。ElasticsearchEmitter作为状态的一部分,必须实现Java Serializable接口。为了确保ElasticsearchEmitter是可序列化的,你需要确保自定义的ElasticsearchEmitter或者你使用的官方或第三方库提供的Emitter实现了java.io.Serializable
接口。
使用与Flink版本兼容的Elasticsearch connector库。随着Flink和Elasticsearch版本的更新,连接器的API可能会有所变化,所以请确保使用的Elasticsearch connector支持流式写入,并且正确实现了Emitter的序列化。检查Elasticsearch sink的配置是否正确,特别是关于如何实例化Emitter的部分,确保它不会在非序列化的上下文中初始化。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/581312
问题五:从flink CheckPoint重新拉起任务报错,1.14.5版本,有遇到过类似问题的嘛?
从flink CheckPoint重新拉起任务报错,1.14.5版本,有遇到过类似问题的嘛?
通过从SavePoint、CheckPoint 两种方式都有报错,都是上面的报错
从最近消费是ok的
参考回答:
serVisibleHead <= 用户可见结果偏移量 < userVisibleTail
关于本问题的更多回答可点击原文查看: