flink1.7,oracle-cdc 2.3版本,latest模式下,能记录上次增量同步的位置吗,如果job中断了,重新启动后,能记录从原来的记录scn位置继续同步,而不是从现在数据库最新的scn位置开始同步
自己保存checkponit,从最新一次的checkpoint启动,checkponit默认是不保存的,此回答整理自钉群“Flink CDC 社区”
在Flink 1.7和Oracle CDC 2.3版本中,可以使用Savepoint来记录上次增量同步的位置。当Job中断后重新启动时,可以从原来的Savepoint位置继续同步,而不是从现在数据库最新的SCN位置开始同步。
具体来说,可以在Flink作业中使用CheckpointConfig
类来配置检查点相关的参数,例如设置检查点间隔时间和保存点目录等。然后,在启动作业时使用--checkpointing-mode savepoints
参数启用Savepoint模式。这样,当作业发生故障时,可以从最近的Savepoint恢复状态并继续执行。
需要注意的是,在使用Savepoint模式时,需要确保检查点间隔时间足够长,以便在作业发生故障时能够正确地恢复到正确的位置。同时,还需要定期清理旧的Savepoint以避免占用过多的存储空间。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。