Flink CDC中断点续传的功能怎么开启,每次我重新启动代码还是从零开始读?
我是sqlserver 2016版本的。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
想要开启Flink CDC任务的断点续传功能,需要以下设置:
启用检查点,设置检查点间隔时间
设置Checkpoint模式为EXACTLY_ONCE
设置任务关闭时保留最后一次检查点数据
设置从检查点自动重启策略
设置状态后端为RocksDB
将 checkpoints 保存到外部存储如FS
" https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/deployment/cli/#command-line-interface
此回答整理至钉群“Flink CDC 社区”。"
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。