开发者社区> 问答> 正文

RocksDBStateBackend In background 状态清理机制的问题

Hi 社区的小伙伴,

我现在有个关于 Flink 1.10 RocksDBStateBackend 状态清理机制的问题,在 1.10中,RocksDB 默认使用 in

background 方式进行状态清理,使用 compaction filter 方式。正如官方文档所说: 3.png

现在有个疑问,RocksDB 在处理一定数量的 State Entrys 就会进行 compaction filter,那么这个 compaction

filter 是针对这一定数量 State Entrys ,然后检查他们是否过期吗?

还是说,会针对一个 Task 当前所有的状态文件,统一进行 Compaction filter,在合并时,检查每个 entry,过期的状态 Key

就过滤删除掉。

这个地方我没有弄明白,非常期待你的回复。*来自志愿者整理的flink邮件归档

展开
收起
塔塔塔塔塔塔 2021-12-02 17:49:24 1076 0
1 条回答
写回答
取消 提交回答
  • 这个地方我理解是,每次处理一定数量的 StateEntry 之后,会获取当前的 timestamp 然后在 RocksDB 的 compaction  4.png

    时对所有的 StateEntry 进行 filter。*来自志愿者整理的FLINK邮件归档

    2021-12-02 18:16:30
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载