Flink CDC任务总是报错这个怎么解决哇？

Flink CDC任务总是报错这个怎么解决哇？org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.
at io.debezium.pipeline.ErrorHandler.setProducerThrowable(ErrorHandler.java:55)
at io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource.execute(LogMinerStreamingChangeEventSource.java:239)
at io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource.execute(LogMinerStreamingChangeEventSource.java:61)
at io.debezium.pipeline.ChangeEventSourceCoordinator.streamEvents(ChangeEventSourceCoordinator.java:188)
at io.debezium.pipeline.ChangeEventSourceCoordinator.executeChangeEventSources(ChangeEventSourceCoordinator.java:153)
at io.debezium.pipeline.ChangeEventSourceCoordinator.lambda$start$0(ChangeEventSourceCoordinator.java:118)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:750)
Caused by: java.lang.IllegalStateException: None of log files contains offset SCN: 10611284798911, re-snapshot is required.
at io.debezium.connector.oracle.logminer.LogMinerHelper.setLogFilesForMining(LogMinerHelper.java:102)
at io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource.initializeRedoLogsForMining(LogMinerStreamingChangeEventSource.java:362)
at io.debezium.connector.oracle.logminer.LogMinerStreamingChangeEventSource.execute(LogMinerStreamingChangeEventSource.java:212)
... 9 more

展开

收起

真的很搞笑 2023-12-04 08:17:58 424 0

3 条回答

写回答

取消提交回答

Star时光
这个报错表明在Flink CDC任务中使用的Debezium连接器在处理变更事件时发生了异常。

具体报错信息是java.lang.IllegalStateException: None of log files contains offset SCN: 10611284798911, re-snapshot is required.，提示没有找到指定的偏移量(SCN)，需要重新进行快照数据的生成。

要解决这个问题，您可以尝试以下方法：
1. 执行重新快照：根据报错信息建议，可以尝试对数据库进行重新快照。可以停止Flink CDC任务并清除相关的状态信息（如offset状态），然后重新启动任务以生成新的快照。
2. 检查数据库日志文件：确保数据库的日志文件完整且可用。日志文件可能已经被删除、移动或损坏，导致无法找到指定的偏移量。请检查数据库配置和日志文件路径，确保日志文件存在且正确配置。
3. 检查Debezium和CDC版本兼容性：确保使用的Debezium版本与您的CDC任务版本兼容，并且支持所需的功能。有时，特定的版本组合可能会导致一些问题。
4. 调整Debezium配置：根据您的实际情况和需求，可能需要调整Debezium连接器的配置。例如，可以尝试更改redo log的配置、切换到streaming模式等来适应数据库环境的变化。
2023-12-04 20:36:27

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
这个错误是由于Oracle LogMiner无法找到包含指定偏移量的日志文件导致的。你可以尝试以下方法解决这个问题：
1. 确保你的Oracle数据库已经启动，并且正在运行。
2. 检查Oracle的日志文件路径是否正确。你可以在$ORACLE_BASE/diag/rdbms/*/trace/alert_*.log中找到这些日志文件。确保这些文件存在并且可以被Flink访问。
3. 检查你的Flink CDC任务中的LogMiner配置是否正确。特别是logFiles和startScn参数。确保它们指向正确的日志文件和起始偏移量。
4. 如果问题仍然存在，你可以尝试重启Oracle数据库和Flink CDC任务，看看是否能解决问题。
2023-12-04 13:45:57

赞同展开评论打赏
sunrr
这个错误提示表明Debezium在进行Oracle日志挖掘时遇到了问题。具体来说，它无法从提供的日志文件中找到一个包含指定SCN（系统改变号）的日志文件。

解决这个问题的方法是确保Debezium能够正确地识别和读取Oracle的日志文件。以下是一些可能的解决方案：
1. 检查日志文件的权限设置。确保Debezium有足够的权限来读取这些文件。
2. 检查日志文件的物理位置。确保Debezium能够访问这些文件所在的目录。
3. 检查日志文件的名字和命名规则。确保Debezium可以正确地识别和匹配这些文件。
4. 检查Oracle实例的状态和配置。确保Oracle实例正在正常运行，并且已经启用了日志挖掘功能。
5. 检查Debezium的配置设置。确保Debezium的配置正确地指向了Oracle实例和日志文件的位置。
2023-12-04 11:10:38

赞同展开评论打赏