开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有遇到oracle cdc全量同步完后,提交offset的时候报这个错误?

Flink CDC有遇到oracle cdc全量同步完后,提交offset的时候报这个错误,本地调试的时候没这个错误,可以正常同步,到flink集群中运行的时候才报这个错误?image.png

展开
收起
真的很搞笑 2023-11-16 07:34:09 113 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误是因为Flink CDC在Oracle CDC全量同步完成后,提交offset时,无法从Oracle CDC中获取到最新的change event。这可能是因为Oracle CDC的配置问题,或者是因为Flink CDC和Oracle CDC之间的连接问题。在本地调试时,可能是因为你本地的Oracle CDC环境和Flink CDC环境配置一致,所以能够正常同步和提交offset。但是在集群环境中,可能因为网络环境、Oracle CDC的配置、Flink CDC的配置等因素,导致无法正确获取到最新的change event,从而导致这个错误。建议检查Oracle CDC的配置,确保其能够正确同步和提交offset,同时检查Flink CDC的配置,确保其能够正确连接和使用Oracle CDC。

    2023-11-17 15:17:11
    赞同 1 展开评论 打赏
  • 这个错误是由于在Flink集群中运行时,类加载器无法找到io.debezium.embedded.EmbeddedEngineChangeEvent类。这可能是由于以下原因:

    1. 类路径问题:请确保Flink集群中的类路径包含了io.debezium.embedded.EmbeddedEngineChangeEvent类所在的jar包。您可以通过检查Flink集群的配置文件(如flink-conf.yaml)来确认类路径设置是否正确。

    2. 依赖问题:请检查Flink集群和本地开发环境之间的依赖关系是否一致。如果存在不一致的情况,可能会导致类加载器无法找到所需的类。

    3. 版本冲突:请确保Flink集群和本地开发环境中的Debezium版本一致。如果版本不一致,可能会导致类加载器无法找到所需的类。

    为了解决这个问题,您可以尝试以下方法:

    1. 确保Flink集群中的类路径包含了io.debezium.embedded.EmbeddedEngineChangeEvent类所在的jar包。

    2. 检查并更新Flink集群和本地开发环境中的依赖关系,确保它们是一致的。

    3. 确保Flink集群和本地开发环境中的Debezium版本一致。如果版本不一致,请尝试升级或降级其中一个版本的Debezium。

    2023-11-17 10:42:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像