开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC oracle数据同步到mysql上 是不是就需要使用checkpoint?

Flink CDC现在有一个场景就是oracle数据同步到mysql上 为了能够保证job挂了能从崩溃的时刻继续进行同步 是不是就需要使用checkpoint?

展开
收起
wenti 2023-02-06 16:18:09 180 0
2 条回答
写回答
取消 提交回答
  • 您好!

    是的,为了确保 Flink CDC 在崩溃后能够从崩溃的时刻继续进行同步,您需要使用 checkpoint。

    checkpoint 是 Flink 提供的一种机制,用于将作业的状态保存到外部存储中。当作业崩溃时,您可以从 checkpoint 恢复作业,而无需重新处理所有数据。

    要启用 checkpoint,您需要在作业配置中设置 checkpoint 间隔。checkpoint 间隔是指 Flink 将作业状态保存到外部存储的频率。

    您还可以设置 checkpoint 模式。checkpoint 模式有两种:exactly-once 和 at-least-once。

    • exactly-once 模式保证每个事件只会被处理一次,即使作业崩溃。
    • at-least-once 模式保证每个事件至少会被处理一次,但可能会被处理多次。

    如果您需要确保数据的一致性,则应使用 exactly-once 模式。

    希望这些信息对您有所帮助!

    2024-02-27 18:25:39
    赞同 展开评论 打赏
  • 果断需要呀——该回答整理自钉群“Flink CDC 社区”

    2023-02-06 20:46:52
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像