Flink CDC中SQL server CDC这种报错有什么解决方式嘛？

Flink CDC中SQL server CDC这种报错有什么解决方式嘛？Caused by: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

展开

收起

cuicuicuic 2023-11-01 14:51:19 484 0

3 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
Flink CDC 中的报错 Caused by: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot. 表示数据库历史主题丢失或者不完整。
解决方法如下：
1. 确保 Kafka 中存在数据库历史记录主题（Database History Topic），并且内容完整。
2. 检查 Kafka 集群是否可用。
3. 重新执行快照以重建历史记录主题的内容。
2023-11-02 14:57:29

赞同展开评论打赏
sunrr
这个错误通常表示DeBezium在从数据库历史主题中读取数据时出现了问题。以下是一些可能的解决方案：
1. 检查数据库历史主题的配置：请确保你已经正确配置了数据库历史主题的连接信息，包括主题名称、主题所属的Kafka集群等信息。
2. 重新执行快照：你可以尝试重新执行一次快照，看是否能够解决问题。在Flink CDC中，你可以通过删除并重新创建SourceFunction来实现这一点。
3. 检查Kafka集群的状态：请确保Kafka集群的状态正常，并且能够正常接收和存储数据。
4. 检查数据库历史主题的内容：你可以检查数据库历史主题的内容，看是否包含所需的记录。如果没有，那么可能需要重新执行快照。
5. 更新DeBezium版本：如果以上方法都无法解决问题，你可能需要更新DeBezium的版本，因为这个问题在新版本的DeBezium中可能已经得到解决。
6. 查看日志：你可以查看Flink和DeBezium的日志，看是否有其他的错误信息可以帮助你找到问题的根源。
2023-11-02 14:41:59

赞同展开评论打赏
xin在这

这个问题很多人在 oracle cdc 遇到了，目前有 pr 在修复，sql server cdc 不清楚原因https://github.com/ververica/flink-cdc-connectors/issues/1737，此回答整理自钉群“Flink CDC 社区”

2023-11-01 21:46:22

赞同展开评论打赏