我们用了Flink CDC2.4版本,貌似这个问题依旧存在?人家官网说的就是用dmhs,Caused by: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.
您提到的这个问题是由 Debezium 引起的。Debezium 是 Flink CDC 用于捕获和解析数据库变更事件的一个核心组件。当 Debezium 在读取数据库变更事件时,会将事件写入一个 Kafka 主题中,以便 Flink CDC 对其进行消费和处理。这个 Kafka 主题通常称为“数据库历史记录主题”,用于记录数据库变更事件的历史记录。
在 Debezium 中,如果数据库历史记录主题或其内容缺失,则会出现 "The db history topic or its content is fully or partially missing" 的异常。这个异常通常发生在以下情况:
数据库历史记录主题不存在
如果您在配置文件中没有正确配置数据库历史记录主题,或者 Kafka 集群中没有创建这个主题,则会出现这个异常。
数据库历史记录主题内容丢失或不完整
如果您在使用 Flink CDC 时出现了网络故障、Kafka 集群宕机等情况,可能会导致数据库历史记录主题的内容丢失或不完整,从而引起这个异常。
针对这个异常,您可以尝试以下解决方案:
检查配置文件中的数据库历史记录主题配置是否正确。
检查 Kafka 集群中是否创建了数据库历史记录主题,如果没有,则创建它。
如果数据库历史记录主题内容丢失或不完整,可以尝试重新执行快照操作,重新生成历史记录主题。
检查 Kafka 集群是否正常运行,网络是否正常。
需要注意的是,Flink CDC 2.4 版本中使用的是 Debezium 1.2.3 版本,如果您的问题与 Debezium 有关,建议您参考 Debezium 的官方文档并向 Debezium 社区提问。
是不是指定位点启动的?我记得指定位点启动时,如果binlog rotate了几次,schema 和table id 映射可能有问题,此回答整理自钉群“Flink CDC 社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。