flink cdc实时同步oracle数据库到kafka报错

flink cdc实时同步oracle数据库到kafka,我自己新建的测试表可以正常同步存量和增量数据,用另一张千万级别数据的表直接启动报错
Caused by: java.io.IOException: io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

配置参数什么都是一样的,直接修改为增量同步模式也是报错,哪位大佬看下,江湖救急

展开
收起
1520542015458456 2025-01-08 19:46:59 89 发布于河南 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 请检查Flink CDC配置是否正确并与Oracle和Kafka版本兼容,参考官方文档https://www.alibabacloud.com/help/zh/doc-detail/137897.htm,如果问题依旧,建议咨询一下阿里云的工作人员。如果对您有帮助的话,可以帮忙采纳一下。谢谢。

    2025-02-09 23:28:42 举报
    赞同 86 评论

    评论

    全部评论 (0)

    登录后可评论
  • 北京阿里云ACE会长

    debezium-schema-changes 主题没有足够的容量来存储 Changelog
    确保 Kafka 的 debezium-schema-changes 主题有足够的分区和副本,以支持高并发的数据写入。可以使用以下命令检查和调整主题配置:

    查看主题配置

    kafka-topics.sh --describe --topic debezium-schema-changes --zookeeper your-zookeeper-address

    修改主题配置,增加分区数

    kafka-topics.sh --alter --topic debezium-schema-changes --partitions 10 --zookeeper your-zookeeper-address

    debezium.database.history.kafka.bootstrap-servers 和 debezium.database.history.kafka.topic 配置
    debezium.database.history.kafka.bootstrap-servers=kafka-broker1:9092,kafka-broker2:9092
    debezium.database.history.kafka.topic=debezium-schema-changes

    2025-01-10 09:36:02 举报
    赞同 255 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等