开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC支持断点续传吗,有没有示例?

Flink CDC支持断点续传吗,有没有示例?

展开
收起
cuicuicuic 2023-11-01 14:24:33 265 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC确实支持断点续传。以下是使用Flink CDC实现断点续传的基本步骤:

    1. 启用检查点

    要启用Flink CDC的断点续传功能,首先需要启用检查点。可以通过调用env.enableCheckpointing(interval)方法来启用检查点,其中interval参数表示检查点间隔时间。

    1. 设置检查点模式

    为了确保数据的正确性,需要将检查点模式设置为EXACTLY_ONCE。可以通过调用env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)方法来实现这一目标。

    1. 设置任务关闭时保留最后一次检查点数据

    为了能够在任务失败或停止时从最后一个检查点恢复数据,需要设置任务关闭时保留最后一次检查点数据。可以通过调用env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION)方法来实现这一目标。

    1. 设置从检查点自动重启策略

    为了确保任务能够从上次成功完成的检查点自动恢复,需要设置从检查点自动重启策略。可以通过调用env.getCheckpointConfig().enableAutomatic checkpoints()方法来实现这一目标。

    1. 启动Flink CDC任务

    最后,可以使用StreamExecutionEnvironment.executeJob(name, inputDStream)方法来启动Flink CDC任务,其中name参数表示任务名称,inputDStream参数表示Flink CDC的输入数据流。

    2023-11-02 22:42:10
    赞同 展开评论 打赏
  • Flink CDC支持断点续传功能,这需要在Flink CDC的配置文件中进行相应的设置。

    image.png

    2023-11-02 14:57:08
    赞同 展开评论 打赏
  • 支持。
    image.png

    给当前的 Flink 程序创建 Savepoint:

    bin/flink savepoint JobId hdfs://hadoop102:8020/flink/save
    

    关闭程序以后从 Savepoint 重启程序:

    bin/flink run -s hdfs://hadoop102:8020/flink/save/... -c 全类名 flink-1.0-SNAPSHOT-jar-with-dependencies.jar
    

    image.png

    2023-11-02 00:58:39
    赞同 展开评论 打赏
  • 支持,bonlog个和偏移量,此回答整理自钉群“Flink CDC 社区”

    2023-11-01 21:27:51
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载