开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里cdc3.0对版本有强要求吗?pipeline 1.14不支持是吗?

Flink CDC里cdc3.0对版本有强要求吗?pipeline 1.14不支持是吗?

展开
收起
小小鹿鹿鹿 2024-02-01 16:15:50 378 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 3.0版本对Flink的版本有特定的要求,并不支持所有版本的Flink

    Flink CDC(Change Data Capture)是Apache Flink的一个子项目,它用于捕获数据库的变更事件并转换为数据流。随着技术的发展,Flink CDC推出了3.0版本,这个版本标志着Flink CDC从一个数据源发展成为基于Flink的端到端流式ELT(Extract, Load, Transform)数据集成框架。由于Flink CDC与Flink本身的版本紧密相关,因此在使用Flink CDC时需要确保与其对应的Flink版本兼容。

    具体来说,Flink CDC 2.x系列是与Apache Flink 1.12.x版本相对应的。而Flink CDC 3.0版本作为较新的版本,其兼容性列表可能更加严格,不支持早期版本的Flink,比如1.14版。这意味着如果你正在使用Flink 1.14或更早的版本,你可能无法直接使用Flink CDC 3.0,而需要升级你的Flink版本或者使用与旧版Flink兼容的Flink CDC版本。

    此外,在选择Flink CDC版本时,还需要考虑其他因素,如是否存在已知的Bug和问题。例如,在Flink 1.11.0版本中存在一个可能影响Upsert操作的严重Bug,因此建议使用1.11.1或更高版本来避免这类问题。

    综上所述,为了确保Flink CDC能够正常工作,你需要检查并遵循Flink CDC与Flink版本之间的兼容性要求。如果你正在使用的是较早的Flink版本,可能需要进行升级或选择适当的Flink CDC版本来匹配你的环境。

    2024-02-02 14:36:45
    赞同 展开评论 打赏
  • pipeline 验证过的版本是 1.18/1.17/1.16,sql 应该是 1.14 之后都支持。1.14/15 没测试过。此回答来自钉群Flink CDC 社区。

    2024-02-01 18:17:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载