问题一:flinkcdc同步的时候有什么策略可以设置跳过哪些报错吗?假如报唯一性的错 这种就想让他过?
flinkcdc同步的时候有什么策略可以设置跳过哪些报错吗?假如报唯一性的错 这种就想让他过?
参考回答:
报错需要拍错,是有问题的,应该是下游引起的。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572250
问题二:Flink CDC2.4.2同步MySQL,报了空指针,但是不知道报错的地方在哪里?
Flink CDC2.4.2同步MySQL,报了空指针,但是不知道报错的地方在哪里?org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: MySQL Source' (operator bc764cd8ddf7a0cff126f51c16239658).
at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.failJob(OperatorCoordinatorHolder.java:617)
at org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator$QuiesceableContext.failJob(RecreateOnResetOperatorCoordinator.java:237)
at org.apache.flink.runtime.source.coordinator.SourceCoordinatorContext.failJob(SourceCoordinatorContext.java:374)
at org.apache.flink.runtime.source.coordinator.SourceCoordinator.lambda$runInEventLoop$10(SourceCoordinator.java:472)
at org.apache.flink.util.ThrowableCatchingRunnable.run(ThrowableCatchingRunnable.java:40)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.NullPointerException
参考回答:
从您的错误信息可以看出,您遇到了空指针异常,这通常是由于源代码中使用了未经初始化的对象或变量导致的。您可以在代码中找出错误的地方,然后修复它。
您可以尝试以下方法:
- 检查您使用的代码,看看是否存在空对象引用或空指针异常。
- 检查连接MySQL数据库的参数是否正确。
- 检查MySQL数据库的连接是否正常。
- 检查代码中是否存在可能导致异常的部分,例如数组越界或空集合访问。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572249
问题三:Flink CDC 想问下大家 ,有没有遇到过, 是怎么处理的这个问题的?
Flink CDC 1.13.3 oracle-cdc2.2 数据库Oracle19c遇到的问题 : CPU 使用率非常高 ,见下图经过排查发现: 下面的SQL查询频率非常高 ,每分钟上千次 (任务越多,使用的表越多,越频繁。)SELECT SCN, SQL_REDO, OPERATION_CODE, TIMESTAMP, XID, CSF, TABLE_NAME, SEG_OWNER, OPERATION, USERNAME, ROW_ID, ROLLBACK FROM V$LOGMNR_CONTENTS WHERE SCN > :1 AND SCN <= :2 AND ((OPERATION_CODE IN (5, 34) AND USERNAME NOT IN ('SYS', 'SYSTEM', 'PPS_EDW')) OR (OPERATION_CODE IN (7, 36)) OR (OPERATION_CODE IN (1, 2, 3) AND TABLE_NAME != 'LOG_MINING_FLUSH' AND SEG_OWNER NOT IN ('APPQOSSYS', 'AUDSYS', 'CTXSYS', 'DVSYS', 'DBSFWUSER', 'DBSNMP', 'GSMADMIN_INTERNAL', 'LBACSYS', 'MDSYS', 'OJVMSYS', 'OLAPSYS', 'ORDDATA', 'ORDSYS', 'OUTLN', 'SYS', 'SYSTEM', 'WMSYS', 'XDB') AND (REGEXP_LIKE(SEG_OWNER, '^T1_CCBSCF$', 'i')) AND (REGEXP_LIKE(SEG_OWNER || '.' || TABLE_NAME, '^T1_CCBSCF.T_CI_PARTNER$', 'i')) ))想问下大家 ,有没有遇到过, 是怎么处理的这个问题的, 感谢~
参考回答:
在Flink CDC中,如果SQL查询频率过高,可能会导致CPU使用率过高。以下是一些可能的解决方案:
- 优化SQL查询:您可以尝试优化您的SQL查询,以减少查询的频率。例如,您可以尝试使用索引,或者使用更复杂的查询条件来减少查询的范围。
- 使用更高效的查询引擎:您可以尝试使用更高效的查询引擎,例如InnoDB或XLog。这些查询引擎通常比MyISAM查询引擎更高效,可以减少查询的频率。
- 使用更高效的表:您可以尝试使用更高效的表,例如InnoDB或XLog。这些表通常比MyISAM表更高效,可以减少查询的频率。
- 使用更高效的存储引擎:您可以尝试使用更高效的存储引擎,例如InnoDB或XLog。这些存储引擎通常比MyISAM存储引擎更高效,可以减少查询的频率。
- 使用更高效的索引:您可以尝试使用更高效的索引,例如InnoDB或XLog。这些索引通常比MyISAM索引更高效,可以减少查询的频率。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572248
问题四:Flink CDC这个错误有遇到过吗 ?
Flink CDC这个错误有遇到过吗 ?Caused by: org.apache.kafka.connect.errors.ConnectException: Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
参考回答:
数据库结构变更过了吗,确认一下表结构,再重跑下试试
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572247
问题五:Flink CDC一直在报流式未启用的错误,但是错误级别又是info的,请问这个重要么?
Flink CDC一直在报流式未启用的错误,但是错误级别又是info的,请问这个重要么?2023-11-15 08:09:22,798 INFO io.debezium.connector.sqlserver.SqlServerStreamingChangeEventSource [] - Streaming is not enabled in current configuration
2023-11-15 08:09:23,298 INFO io.debezium.connector.sqlserver.SqlServerStreamingChangeEventSource [] - Streaming is not enabled in current configuration
参考回答:
看起来和执行模式有关系,你是只同步全量数据吧
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572246