开发者社区> 问答> 正文

Flink 增量checkpoint体积问题

Meta

Source: 【①群】Apache Flink China社区
Time: 2022/03/22 15:29
Proposer: eason
Status: Unresolved

Content

  • eason:
    我发现开启增量checkpoint和非增量checkpoint,增量checkpoint每次checkpoint的数据量一直在增大,但是非增量的却比增量的要少很多 lQLPDhtCk1N1TnDNAsPNBgiw9wNS7GM7QjgCPcAf0ICRAA_1544_707.png 非增量的最多的每次时候也才不到1M多,增量的现在是一直在增加,除开了metadata为1m多大小,那也比非增量的大很多

展开
收起
zyxing 2022-03-22 15:59:32 1811 0
1 条回答
写回答
取消 提交回答
  • 在增量 Checkpoint之前,每个Flink Checkpoint 都会包含应用程序的完整状态。每次都对完整状态进行 Checkpoint是没有必要的,因为从一个Checkpoint到下一个 Checkpoint的状态变化一般都不大,所以创建增量Checkpoint功能。增量 Checkpoint会维护每个Checkpoint之间的差异,并仅存储最后一个Checkpoint与当前状态之间的差异

    2022-05-20 08:10:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载