问题一:Flink CDC2.4的包都有,为啥还报找不到类?
Flink CDC2.4的包都有,为啥还报找不到类?java.lang.NoClassDefFoundError: com/ververica/cdc/connectors/base/options/JdbcSourceOptions
参考答案:
cdc版本只能有一个,不可共存,还有就是直接用3.0 的吧
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587211
问题二:有人遇到过Flink CDC这种类似的问题吗?
有人遇到过Flink CDC这种类似的问题吗?拉全量的时候做checkpoint失败,checkpoint明明只有几k但是确报:java.lang.OutOfMemoryError: Java heap space
参考答案:
你的其他耗资源内存不足,报错地方随机吧。建议增大内存,减少数据库连接
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587208
问题三:我在使用flinkcdc-2.4.2采集oracle19c的过程中,遇到这个问题,大家有遇到过的吗?
我在使用flinkcdc-2.4.2采集oracle19c的过程中,遇到这个问题,大家有遇到过的吗?Caused by: io.debezium.DebeziumException: Oracle failed to re-construct redo SQL 'delete from "SMESPROD"."TBLVEHICLEPRDRELATION" where "COL 1" = HEXTORAW('0056003300320033003100320030003300300032') and "COL 2" = HEXTORAW('0033002d00310030002d0030002d0030003500360033') and "COL 3" = HEXTORAW('0037006300640032003000320036003400620061006600360038006200380037') and "COL 4" IS NULL and "COL 5" = HEXTORAW('0031002d0031') and "COL 6" = HEXTORAW('30') and "COL 7" IS NULL and "COL 8" IS NULL and "COL 9" = HEXTORAW('00580030003000320030002d00300032') and "COL 10" = HEXTORAW('787b0719131013') and "COL 11" IS NULL and "COL 12" = HEXTORAW('77640101010101') and "COL 13" = HEXTORAW('003100300030003000300039003100380038') and "COL 14" = HEXTORAW('0051') and "COL 15" IS NULL and "COL 16" IS NULL and "COL 17" = HEXTORAW('00410030003900340030');'
at io.debezium.connector.oracle.logminer.processor.AbstractLogMinerEventProcessor.handleDataEvent(AbstractLogMinerEventProcessor.java:806) ~[ocean-1.0-jar-with-dependencies.jar:?]
at io.debezium.connector.oracle.logminer.processor.AbstractLogMinerEventProcessor.processRow(AbstractLogMinerEventProcessor.java:321) ~[ocean-1.0-jar-with-dependencies.jar:?]
at io.debezium.connector.oracle.logminer.processor.AbstractLogMinerEventProcessor.processResults(AbstractLogMinerEventProcessor.java:262) ~[ocean-1.0-jar-with-dependencies.jar:?]
at io.debezium.connector.oracle.logminer.processor.AbstractLogMinerEventProcessor.process(AbstractLogMinerEventProcessor.java:198) ~[ocean-1.0-jar-with-dependencies.jar:?]
at io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource.execute(LogMinerStreamingChangeEventSource.java:247) ~[ocean-1.0-jar-with-dependencies.jar:?]
... 9 more
参考答案:
https://issues.redhat.com/browse/DBZ-5215?jql=text%20~%20%22failed%20to%20re-construct%20redo%20SQL%22 可以看一下这个issue,不接受truncate信息即可, CDC有配置信息
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587199
问题四:请教Flink CDC,同步pg 时出现 idle-in-transaction 这种怎么解决?
请教Flink CDC大佬,同步pg 时出现 idle-in-transaction timeout 这种怎么解决?
参考答案:
idle-in-transaction 是 PostgreSQL 数据库中的一种状态,表示事务在一段时间内没有任何活动。当 Flink CDC 同步 PostgreSQL 时出现 idle-in-transaction 错误,可能是因为事务长时间处于空闲状态而被自动终止了。
要解决这个问题,可以尝试以下方法:
- 增加 PostgreSQL 的
statement_timeout
参数的值,以延长事务的空闲超时时间。可以通过修改 postgresql.conf 配置文件中的statement_timeout
参数来实现。例如,将该参数设置为 600(单位为秒):
statement_timeout = 600
- 优化 Flink CDC 的并行度和并发数,以减少事务的空闲时间。可以通过调整 Flink CDC 作业的配置参数来实现。例如,可以增加并行度或减少并发数来降低事务处理速度。
- 如果问题仍然存在,可以考虑使用其他数据库同步工具,如 Canal、Debezium 等。这些工具可能对 idle-in-transaction 的处理更加友好。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/587197
问题五:Flink CDC这是缺什么包吗?
Flink CDC这是缺什么包吗?
参考答案:
根据给出的错误日志,可以看出在初始化TablewriteOperator
时出现了问题。具体来说,org.apache.paimon.table.sinkl.Tablewritemp1.isstreamingMode(Z)Lorg/apache/paimon/table/sin /TablewriteImpl;
这个方法找不到对应的实现类。
根据错误日志中的包名和类名,可以猜测是缺少了paimon-flink-1.18-0.6-20231108.003014-46.jar
这个包。可以尝试添加该包到项目的依赖中,或者检查是否已经正确引入了相关的依赖。
关于本问题的更多回答可点击进行查看: