请教下 checkpoint相关的问题， 我目前部署中准备使用rocksDb作为state backend。 那rocksDb的state可以启用incremental来做checkpoint，达到提高checkpint performance的作用。 每次都是保存与前一个diff的进行store。 我的问题是，那我们在从某个checkpoint启动某个job的时候，这个checkpoint应该只含有diff的内容， 那没有变化的state就获取不到。
转自钉钉群21789141：请教下 checkpoint相关的问题， 我目前部署中准备使用rocksDb作为state backend。 那rocksDb的state可以启用incremental来做checkpoint，达到提高checkpint performance的作用。 每次都是保存与前一个diff的进行store。 我的问题是，那我们在从某个checkpoint启动某个job的时候，这个checkpoint应该只含有diff的内容， 那没有变化的state就获取不到。
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
宝牛：每次的增量checkpoint file里面会存对前几次checkpoint file的引用。当恢复的时候，会自动查找之前的file，对数据做merge，从而得到一个完整的镜像。这个实际上是rocksdb的功能，rocksdb里面可以指定保存几个文件，多长时间做一次compact等等。
2019-07-17 23:26:23赞同 展开评论
相关问答