Flink CDC最新的版本支持全量阶段断点续传吗,是到分片级吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
Flink CDC最新的版本确实支持全量阶段断点续传,但是目前仅支持到分片级别。
Flink CDC是Apache Flink的一个数据传输组件,它可以将数据库的增量变更以流的方式传输到Flink。Flink CDC支持的数据库包括MySQL、Oracle、PostgreSQL、SQL Server和MongoDB。
Flink CDC有两种运行模式,分别是增量模式和全量模式。增量模式下,Flink CDC仅会读取数据库中发生的增量变更,而全量模式下,Flink CDC会将数据库中的数据全部读取一遍。
在全量模式下,Flink CDC会从数据库中读取数据,并将数据写入一个状态表。当Flink CDC发生故障时,Flink CDC可以从状态表中恢复,并继续从数据库中读取数据。
Flink CDC支持全量阶段断点续传,这意味着,如果Flink CDC在全量阶段发生故障,Flink CDC可以从上次读取的位置开始继续读取数据。Flink CDC的断点续传是基于状态表实现的。
Flink CDC目前仅支持到分片级别的断点续传。这意味着,如果Flink CDC在读取数据库中的一个分片时发生故障,Flink CDC可以从该分片的下一个分片开始继续读取数据。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。