Flink CDC中每次启动都会生成一个checkpoint目录吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在Flink CDC中,每次启动作业时是否会生成一个Checkpoint目录,取决于以下几个因素和配置:
Flink的系统检查点(Checkpoint)是周期性触发的,默认情况下,只有当作业运行并达到配置的Checkpoint间隔时,才会生成Checkpoint目录。因此,如果作业刚启动且尚未到达第一个Checkpoint触发时间点,则不会立即生成Checkpoint目录。
execution.checkpointing.interval参数设置Checkpoint的触发间隔。例如,设置为60000表示每60秒触发一次Checkpoint。需要注意的是,Savepoint是由用户手动触发或通过配置定时生成的,而Checkpoint是由Flink系统自动管理的。如果作业启动时没有显式触发Savepoint操作,则不会生成Savepoint目录。
如果作业是从某个已有的Checkpoint恢复启动的,则Flink会在恢复过程中使用该Checkpoint的数据,而不会立即生成新的Checkpoint目录。只有在作业运行一段时间并触发下一次Checkpoint时,才会生成新的Checkpoint目录。
如果在停止作业时选择了“停止前创建一次快照”(STOP_WITH_SAVEPOINT),则会在作业停止时生成一个Checkpoint目录。这种情况下,下次启动作业时可能会基于该Checkpoint恢复。