开发者社区> 问答> 正文

Flink 1.6 版本,RocksDBStateBackend ,增量 Checkpoint 目录

Flink 1.6 版本,RocksDBStateBackend ,增量 Checkpoint 目录问题 我使用 Flink 1.6 版本,使用的增量 Checkpoint,我看官网说,默认的 Checkpoint 保留目录是1,也就是会保留一个最新完成的

Checkpoint 目录,但是在我的任务 Checkpoint 路径下面,居然有很多个 chk-xxx 目录,比如说

chk-86515,chk-37878,而且在这些目录下面,还有数据,这是什么原因呢。

对这个地方有点困惑,既然默认保留的目录是1了,为什么还有这么多 chk 目录呢。

期待你的回答*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-02 17:54:56 655 0
1 条回答
写回答
取消 提交回答
  • 原来是这样,中间的确有很多 Checkpoint 超时失败,对于这种由于 Checkpoint 失败创建的目录,Flink 本身是不会删除的,对吗?

    也就是这部分状态文件,会一直存储在HDFS 上面,这种情况是否会造成 Flink Checkpoint 目录下 shared目录无限增大呢*来自志愿者整理的FLINK邮件归档

    2021-12-02 18:15:48
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载