Flink CDC双流join操作,是不是ckp不丢失也有问题啊?

Flink CDC双流join操作,是不是ckp不丢失也有问题啊?我这双流join,有些change没有变更?也不知道怎么排查?

展开
收起
真的很搞笑 2023-08-22 18:10:50 108 分享 版权
1 条回答
写回答
取消 提交回答
  • 是的,如果 checkpoints 丢失,Flink CDC 双流 join 操作可能会出现数据不一致的问题。

    为了避免这种情况,您可以使用以下方法之一:

    启用 Flink CDC 的 incremental checkpoints。这将确保只有自上一个 checkpoint 以来发生的更改才会写入 checkpoint。
    使用 checkpoint 恢复机制。如果 checkpoints 丢失,您可以使用 checkpoint 恢复机制来恢复 Flink CDC 双流 join 操作。

    2023-09-27 08:50:08
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理