开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink的Checkpoint 的清理策略一般是怎么设置的?

Flink的Checkpoint 的清理策略一般是怎么设置的?

展开
收起
三分钟热度的鱼 2023-12-13 19:57:04 79 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink中,Checkpoint的清理策略可以通过两种方式进行设置:DELETE_ON_CANCE在Flink中,Checkpoint的清理策略可以通过两种方式进行设置:DELETE_ON_CANCELLATION和RETAIN_ON_CANCELLATION。DELETE_ON_CANCELLATION策略表示,仅当作业失败时,作业的checkpoint才会被保留用于任务恢复。当作业取消时,checkpoint状态信息会被删除,因此取消任务后,不能从checkpoint位置进行恢复任务。而RETAIN_ON_CANCELLATION策略则是默认选项,表示当Flink程序失败时,可以从最近的这个Checkpoint来进行恢复。

    同时,还可以在Flink的配置文件中设置checkpoint的保留策略,例如设置保留最近的3个checkpoint。具体步骤如下:首先,打开Flink的配置文件;然后,设置checkpoint自动清理策略,这里设置为保留最近的3个checkpoint。此外,根据实际需要,也可以选择启用外部化Checkpoints,即当Flink任务取消时,是否保留外部保存的CheckPoint信息。这样可以根据实际的故障背景和任务需求,灵活配置Checkpoint的清理策略。

    2023-12-14 21:46:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载