我们用了Flink CDC2.4版本,貌似这个问题依旧存在?人家官网说的就是用dmhs,Caused by: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
您提到的这个问题是由 Debezium 引起的。Debezium 是 Flink CDC 用于捕获和解析数据库变更事件的一个核心组件。当 Debezium 在读取数据库变更事件时,会将事件写入一个 Kafka 主题中,以便 Flink CDC 对其进行消费和处理。这个 Kafka 主题通常称为“数据库历史记录主题”,用于记录数据库变更事件的历史记录。
在 Debezium 中,如果数据库历史记录主题或其内容缺失,则会出现 "The db history topic or its content is fully or partially missing" 的异常。这个异常通常发生在以下情况:
数据库历史记录主题不存在
如果您在配置文件中没有正确配置数据库历史记录主题,或者 Kafka 集群中没有创建这个主题,则会出现这个异常。
数据库历史记录主题内容丢失或不完整
如果您在使用 Flink CDC 时出现了网络故障、Kafka 集群宕机等情况,可能会导致数据库历史记录主题的内容丢失或不完整,从而引起这个异常。
针对这个异常,您可以尝试以下解决方案:
检查配置文件中的数据库历史记录主题配置是否正确。
检查 Kafka 集群中是否创建了数据库历史记录主题,如果没有,则创建它。
如果数据库历史记录主题内容丢失或不完整,可以尝试重新执行快照操作,重新生成历史记录主题。
检查 Kafka 集群是否正常运行,网络是否正常。
需要注意的是,Flink CDC 2.4 版本中使用的是 Debezium 1.2.3 版本,如果您的问题与 Debezium 有关,建议您参考 Debezium 的官方文档并向 Debezium 社区提问。
是不是指定位点启动的?我记得指定位点启动时,如果binlog rotate了几次,schema 和table id 映射可能有问题,此回答整理自钉群“Flink CDC 社区”
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。