开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC阿里云上的快照和flink的ck是一样的吗?

Flink CDC阿里云上的快照和flink的ck是一样的吗?

展开
收起
真的很搞笑 2023-06-29 08:16:45 80 0
1 条回答
写回答
取消 提交回答
  • Flink CDC 阿里云上的快照和 Flink 的 CK 不一样。

    Flink CDC 阿里云上的快照是 Flink CDC 在处理表数据变化时,每隔一段时间会生成一份表数据的快照,这份快照会存储在远程的 Aliyun OSS 中。当 Flink CDC 任务出现故障时,可以从快照中恢复数据,恢复后的数据状态就会和快照生成之前保持一致。

    Flink 的 CK 是 Flink 在运行任务时,每隔一段时间会生成一个检查点,这个检查点会存储在 Flink 集群的 TaskManager 中。当 Flink 任务出现故障时,可以从检查点中恢复数据,恢复后的数据状态就会和检查点生成之前保持一致。

    Flink CDC 阿里云上的快照和 Flink 的 CK 虽然都是用于恢复数据,但是它们的功能和使用场景有很大的不同。

    Flink CDC 阿里云上的快照是为了解决 Flink CDC 任务出现故障时的数据恢复问题,而 Flink 的 CK 是为了解决 Flink 任务出现故障时的数据重放问题。

    Flink CDC 阿里云上的快照是一个静态的数据快照,而 Flink 的 CK 是一个动态的数据快照。

    Flink CDC 阿里云上的快照是需要手动触发的,而 Flink 的 CK 是 Flink 在运行任务时自动生成的。

    Flink CDC 阿里云上的快照是存储在远程的 Aliyun OSS 中的,而 Flink 的 CK 是存储在 Flink 集群的 TaskManager 中的。

    Flink CDC 阿里云上的快照和 Flink 的 CK 都是 Flink 在保证数据一致性方面的有效手段,但是它们的功能和使用场景有很大的不同。在选择使用哪一种工具时,需要根据具体的场景和需求来进行判断。

    2023-09-28 11:21:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载