开发者社区> 问答> 正文

关于TableAPI的filesystem中compact功能

1 文件是ckpt时才输出,那ckpt没开始时候数据缓存到哪去了。 2 ckptN时候输出的是哪个时间段范围的数据,比如是上次检查点到本次检查点期间吗? 3 ckptN完成输出后,本次检查点生成的数据,对应的compact是马上开始吗? 4 compact完成后,uncompacted文件是什么时候被清理的,是compact之后马上清理吗,我观察到貌似不是马上清理的? 5 分区提交和compact完成是否有先后关系,会不会没有compact完成,就分区提交了。 换言之,是否任意时候,都可以安全地删除存在success文件的分区中的uncompacted文件。*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-07 16:43:47 543 0
1 条回答
写回答
取消 提交回答
  • 不是,这个和rocksdb没关系,我没用rocksdb。 我这说的是hdfs上文件的清理,而且不是检查点数据的清理,是实际业务数据。 带success文件的分区种的未compact的数据。*来自志愿者整理的flink邮件归档

    2021-12-07 17:06:34
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Spark SQL: Another 16x faster aFer Tungsten SPARC processor has drama1c advantages over x86 on Apache Spark 立即下载
ALLUXIO (FORMERLY TACHYON): UNIFY DATA AT MEMORY SPEED - EFFECTIVE USING SPARK WITH ALLUXIO 立即下载
Scaling Data Science Capabilities with Spark at Stitch Fix 立即下载