开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个异常可能是什么原因导致的吗?

Flink CDC这个异常可能是什么原因导致的吗?
Caused by: java.lang.IllegalStateException: Retrieve schema history failed, the schema records for engine 4e267c1c-99d6-4113-b64e-92367c231e09 has been removed, this might because the debezium engine has been shutdown due to other errors.
场景:flink1.16.0 + flink cdc 2.3.0 抽取Oracle11g的时候,产生的异常?

展开
收起
真的很搞笑 2023-12-20 08:26:00 132 0
1 条回答
写回答
取消 提交回答
  • 这个异常 "Retrieve schema history failed, the schema records for engine ... has been removed, this might because the debezium engine has been shutdown due to other errors" 可能是由以下原因导致的:

    • Debezium 引擎意外关闭或者重启,导致 schema 历史记录丢失。
    • Flink CDC 连接器在处理 Oracle CDC 数据时遇到了未知错误或者异常,导致Debezium 引擎被关闭。
    • 系统资源不足或者网络问题,导致 Flink CDC 或者 Debezium 引擎无法正常运行。

    为了解决这个问题,你可以尝试以下方法:

    • 检查 Flink CDC 和 Debezium 的日志和错误信息,查找可能的错误根源和解决方案。
    • 确保你的系统资源(如 CPU、内存和磁盘空间)充足,并且网络连接稳定。
    • 考虑更新到最新的 Flink CDC 和 Debezium 版本,以获取最新的 bug 修复和性能优化。
    2023-12-20 16:31:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载