checkpoint是把job的所有状态都周期性持久化到存储里,当出现故障时,从最新的一次检查点恢复
默认状态下,检查点不被保留,仅用于从故障中恢复作业
checkpointmode:exactly_once/at_least_once
提供exactly_once语意保证,只保证flink内部,对于sink和source需要依赖外部组件
一般情况下选择exactly_once,除非场景要求极低的延迟
checkpoint的保留策略
DELETE_ON_CANCELLATION:仅当作业失败时,作业的 Checkpoint 才会被保留用于任务恢复。当作业取消时,Checkpoint 状态信息会被删除,因此取消任务后,不能从 Checkpoint 位置进行恢复任务。
RETAIN_ON_CANCELLATION:当作业手动取消时,将会保留作业的 Checkpoint 状态信息。注意,这种情况下,需要手动清除该作业保留的 Checkpoint 状态信息,否则这些状态信息将永远保留在外部的持久化存储中。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。