开发者社区 问答 正文

请教个Flink checkpoint的问题

我在yarn上提交任务时,设置flink的checkpoint是5分钟一次,checkpoint使用RocksDBStateBackend保存在HDFS上且任务取消后不删除checkpoint,代码如下 现在我发现,当我停止任务时使用stopWithSavepoint发现任务停止后把最近一次的checkpoint信息给删除了?目前机制是这样的吗还是我使用有问题?是不是调用cancelWithSavepoint停止任务时就不会删除最近一次的checkpoint信息?*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-08 11:53:32 1221 分享 版权
1 条回答
写回答
取消 提交回答
  • 对的是我!

    制就是这样的。如下是我之前做过的测试。 启动后等待若干检查点之后做如下操作文件系统上的检查点是否保留说明 WEB UI 点击 Cancel 方式取消任务 保留 合理,因为设置了 RETAIN_ON_CANCELLATION。 通过命令生成保存点:flink savepoint ${jobId} ${savepointDir} 保留 OK 通过命令取消任务:flink cancel ${jobId} 保留 OK 通过命令取消任务并生成保存点:flink cancel -s ${savepointDir} ${jobId} 保留 OK 通过命令停止任务(基于默认保存点目录):flink stop ${jobId} 保留 注意别被特点坑 通过命令停止任务并生成保存点:flink stop -p ${savepointDir} ${jobId} 保留 *注意别被特点坑 **来自志愿者整理的flink邮件归档

    2021-12-08 17:04:52
    赞同 展开评论