开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 2.4版本采集oracle,任务重启之后能接着上一次停止的地方继续采集增量的吗?

大佬们,请教个问题,flink cdc 2.4版本采集oracle,任务重启之后能接着上一次停止的地方(存量采完之后接着采增量,采了一会儿增量之后任务挂了)继续采集增量的吗

展开
收起
真的很搞笑 2023-08-29 12:14:23 187 0
1 条回答
写回答
取消 提交回答
  • 是的,Flink CDC 2.4 版本支持在任务重启后继续采集增量数据。通过正确配置 Flink CDC 任务的参数,可以实现增量数据的持续采集。以下是一些关键参数和配置说明:

    "snapshot.mode" 参数:设置为 "initial",表示在任务启动时执行一次初始快照,用于采集存量数据。之后,任务会切换到增量采集模式。

    "debezium.snapshot.mode" 参数:设置为 "when_needed",表示在初始化时仅执行必要的快照。当任务从快照模式切换到增量模式时,可以接着上次停止的地方继续采集增量数据。

    持久化状态:确保 Flink CDC 任务的状态(如 offset 和快照信息)在重启后可以持久化和恢复。可以选择将状态保存在外部的状态后端(如 Apache Flink 的默认状态后端或其他支持的存储系统)中。

    恢复策略:在 Flink 任务配置中设置适当的恢复策略,以处理任务失败或挂起的情况。例如,可以使用 RestartStrategies.fixedDelayRestart() 来设置固定延迟重启策略。

    2023-09-18 17:37:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像