对于Flink CDC,同步oracle initial 方式,同步程序跑一会,就停下来了,为什么?

对于Flink CDC,同步oracle initial 方式,同步程序跑一会,就停下来了,这个有遇到过的吗, 同步了5w条就不同步了 2023-01-11 17:50:52.343 INFO 23902 --- [Unnamed (1/1)#0] io.debezium.embedded.EmbeddedEngine : Stopping the embedded engine 2023-01-11 17:50:52.343 INFO 23902 --- [Unnamed (1/1)#0] io.debezium.embedded.EmbeddedEngine : Waiting for PT5M for connector to stop

展开
收起
wenti 2023-01-15 16:23:06 242 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink CDC 使用 Oracle GoldenGate 来捕获 Oracle 数据库中的更改。GoldenGate 使用日志挖掘技术,因此它需要访问 Oracle redo 日志文件。如果 Flink CDC 同步程序在一段时间后停止,可能是因为以下原因:

    Oracle redo 日志文件不可访问:确保 GoldenGate 具有访问 Oracle redo 日志文件的权限。检查 GoldenGate 配置文件中的 ggserr.log 文件以查找任何错误消息。
    GoldenGate 服务停止:检查 GoldenGate 服务是否正在运行。如果服务已停止,请尝试重新启动它。
    Oracle 数据库重启:Oracle 数据库重启后,GoldenGate 需要重新建立与数据库的连接。这可能会导致 Flink CDC 同步程序暂时停止。
    Flink 集群故障:Flink 集群故障也可能导致 CDC 同步程序停止。检查 Flink 作业管理器和任务管理器日志以查找任何错误消息。
    Oracle 数据库配置更改:Oracle 数据库配置更改,例如存档日志模式的更改,也可能导致 GoldenGate 停止捕获更改。

    2024-02-23 15:51:01
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理