开发者社区> 问答> 正文

Apache Flink - 增量检查点 - CP的意外大小

"
是什么原因导致一些CP节省了预期的大小(大约500kB),有些CP的大小在整个当前管理状态大小附近,即使负载是恒定的?

使用增量检查点时,lastCheckpointSize指标的确切测量结果是什么?
"

展开
收起
flink小助手 2018-11-28 16:11:51 2285 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    "Flink的增量检查点需要(1)很好地扩展到非常大的状态,以及(2)允许从检查点恢复到合理有效,即使在一次运行数周或数月后执行数百万个检查点之后也是如此。特别是,有必要定期合并/合并较旧的检查点,以便最终不会试图从无限制的检查点链恢复到遥远的过去。这就是为什么你会看到一些检查点比其他检查点做更多的工作,即使在恒定负载下。另请注意,在使用少量状态进行测试时,此效果更明显(120 MB与一些Flink用户报告使用的状态相比,小于10 TB)。

    为了理解Flink的增量检查点如何更详细地工作,我建议观看来自Flink Forward的Stefan Richter的演讲。"

    2019-07-17 23:16:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Apache Flink技术进阶 立即下载
Apache Spark: Cloud and On-Prem 立即下载
Hybrid Cloud and Apache Spark 立即下载

相关镜像