Flink CDC这个问题该怎么处理 ?

展开
收起
真的很搞笑 2023-09-13 14:58:02 75 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink CDC 在处理库表变更时,会将 Changelog 发送到 Kafka 的 debezium-schema-changes 主题。如果 Kafka 集群的 debezium-schema-changes 主题没有足够的容量来存储 Changelog,就会导致 Changelog 丢失。

    解决方法如下:

    增加 Kafka 集群的 debezium-schema-changes 主题的容量。
    降低 Flink CDC 的消费速率。
    使用 debezium.consume-from-beginning 配置项,让 Flink CDC 从 Kafka 的 debezium-schema-changes 主题的最新元数据开始消费。
    如果上述方法都不能解决问题,可以联系 Flink CDC 的开发团队获取帮助。

    2023-10-20 15:30:16
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理