开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我们用了Flink CDC2.4版本,貌似这个问题依旧存在?人家官网说的就是用dmhs,Caused

我们用了Flink CDC2.4版本,貌似这个问题依旧存在?人家官网说的就是用dmhs,Caused by: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

展开
收起
真的很搞笑 2023-08-01 14:36:54 386 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    您提到的这个问题是由 Debezium 引起的。Debezium 是 Flink CDC 用于捕获和解析数据库变更事件的一个核心组件。当 Debezium 在读取数据库变更事件时,会将事件写入一个 Kafka 主题中,以便 Flink CDC 对其进行消费和处理。这个 Kafka 主题通常称为“数据库历史记录主题”,用于记录数据库变更事件的历史记录。

    在 Debezium 中,如果数据库历史记录主题或其内容缺失,则会出现 "The db history topic or its content is fully or partially missing" 的异常。这个异常通常发生在以下情况:

    数据库历史记录主题不存在
    如果您在配置文件中没有正确配置数据库历史记录主题,或者 Kafka 集群中没有创建这个主题,则会出现这个异常。

    数据库历史记录主题内容丢失或不完整
    如果您在使用 Flink CDC 时出现了网络故障、Kafka 集群宕机等情况,可能会导致数据库历史记录主题的内容丢失或不完整,从而引起这个异常。

    针对这个异常,您可以尝试以下解决方案:

    检查配置文件中的数据库历史记录主题配置是否正确。

    检查 Kafka 集群中是否创建了数据库历史记录主题,如果没有,则创建它。

    如果数据库历史记录主题内容丢失或不完整,可以尝试重新执行快照操作,重新生成历史记录主题。

    检查 Kafka 集群是否正常运行,网络是否正常。

    需要注意的是,Flink CDC 2.4 版本中使用的是 Debezium 1.2.3 版本,如果您的问题与 Debezium 有关,建议您参考 Debezium 的官方文档并向 Debezium 社区提问。

    2023-08-01 23:17:59
    赞同 展开评论 打赏
  • 是不是指定位点启动的?我记得指定位点启动时,如果binlog rotate了几次,schema 和table id 映射可能有问题,此回答整理自钉群“Flink CDC 社区”

    2023-08-01 14:49:16
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载