Flink CDC里cdc3.0对版本有强要求吗?pipeline 1.14不支持是吗?
Flink CDC 3.0版本对Flink的版本有特定的要求,并不支持所有版本的Flink。
Flink CDC(Change Data Capture)是Apache Flink的一个子项目,它用于捕获数据库的变更事件并转换为数据流。随着技术的发展,Flink CDC推出了3.0版本,这个版本标志着Flink CDC从一个数据源发展成为基于Flink的端到端流式ELT(Extract, Load, Transform)数据集成框架。由于Flink CDC与Flink本身的版本紧密相关,因此在使用Flink CDC时需要确保与其对应的Flink版本兼容。
具体来说,Flink CDC 2.x系列是与Apache Flink 1.12.x版本相对应的。而Flink CDC 3.0版本作为较新的版本,其兼容性列表可能更加严格,不支持早期版本的Flink,比如1.14版。这意味着如果你正在使用Flink 1.14或更早的版本,你可能无法直接使用Flink CDC 3.0,而需要升级你的Flink版本或者使用与旧版Flink兼容的Flink CDC版本。
此外,在选择Flink CDC版本时,还需要考虑其他因素,如是否存在已知的Bug和问题。例如,在Flink 1.11.0版本中存在一个可能影响Upsert操作的严重Bug,因此建议使用1.11.1或更高版本来避免这类问题。
综上所述,为了确保Flink CDC能够正常工作,你需要检查并遵循Flink CDC与Flink版本之间的兼容性要求。如果你正在使用的是较早的Flink版本,可能需要进行升级或选择适当的Flink CDC版本来匹配你的环境。
pipeline 验证过的版本是 1.18/1.17/1.16,sql 应该是 1.14 之后都支持。1.14/15 没测试过。此回答来自钉群Flink CDC 社区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。