Flink CDC 如何实现断点续传的功能呢?那如果是Flink任务报错崩掉的情况呢?
尝试修改了参数 scan.startup.mode ,均未能达到目的:
【1】scan.startup.mode=initial,每次重启任务都会重新加载源表的所有数据(全量+binlog增量);
【2】scan.startup.mode=earliest-offset,每次重启任务都会加载binlog增量数据;
【3】scan.startup.mode=latest-offset,每次重启任务都会漏掉重启期间的增量数据;hdfs没推起来,目前Flink部署的是 standalone 集群模式
根据checkpoint或者savepoint重启。无状态重启肯定从头来。那也有checkpoint或者savepoint啊,这都持久化保存到dfs到。此回答来自钉群Flink CDC 社区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。