开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中,有哪位大佬有flink 版本和cdc版本的适配统计啊?

Flink CDC中,有哪位大佬有flink 版本和cdc版本的适配统计啊?

展开
收起
真的很搞笑 2023-12-01 11:13:20 640 0
4 条回答
写回答
取消 提交回答
  • Flink CDC 是 Flink 社区开发的 source 组件,可以直接从MySQL、PostgreSQL等数据库读取全量数据和增量变更数据。Flink CDC的版本与Flink的版本需要适配使用。例如,Flink CDC 2.3版本兼容了 Flink 1.13,1.14,1.15 和 1.16 四个大版本。

    在实际应用中,你需要下载相应版本的Flink和CDC,并注意版本之间的兼容性。比如,在Flink 1.13.6上应用Flink CDC 2.2.0版本,或者在Apache Flink 1.14.3上使用mysql-cdc-connector-java-2.2.0。此外,Flink CDC的每个新版本都会带来一些新的特性和改进,如Flink CDC 2.0.0版本就带来了全量数据的并发读取、checkpoint、无锁读取等重大改进。

    因此,使用哪个版本的Flink CDC,需要根据你使用的Flink版本以及具体需求来确定。

    2023-12-02 15:54:52
    赞同 展开评论 打赏
  • 在使用 Flink CDC 进行数据同步时,需要确保 Flink CDC 版本与所使用的 CDC Connector 版本相适配。以下是一些常见的 Flink CDC 版本和 CDC Connector 版本之间的适配统计:

    • Flink CDC 1.12.x 适配的 CDC Connector 版本为:Debezium 1.3.x(支持的数据库包括 MySQL、PostgreSQL、SQL Server、Oracle 等)。

    • Flink CDC 1.11.x 适配的 CDC Connector 版本为:Debezium 1.2.x(支持的数据库包括 MySQL、PostgreSQL、SQL Server、Oracle 等)。

    注意:

    • 对于 MySQL CDC Connector,在 Flink 1.12.x 和 1.11.x 版本中,使用的是不同版本的 Debezium Connector。Flink 1.12.x 使用的是 flink-connector-mysql-cdc,而 Flink 1.11.x 使用的是 flink-connector-mysql-binlog
    • 具体的适配情况可能会因特定的 Flink 版本和 CDC Connector 版本发生变化,请查阅相应版本的官方文档或社区资源获取最新的适配信息。
    2023-12-02 10:11:13
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 版本与 CDC(Change Data Capture)工具版本的适配情况可以大致总结如下:

    • 1.x 系列

      • Flink CDC 1.0.0、1.1.0 和 1.2.0 支持 Flink 1.11.*
      • Flink CDC 1.3.0 和 1.4.0 支持 Flink 1.12.*
    • 2.x 系列

      • Flink CDC 2.0. 支持 Flink 1.13.
      • Flink CDC 2.1. 支持 Flink 1.13.
      • Flink CDC 2.2. 支持 Flink 1.13. 和 1.14.*
      • Flink CDC 2.3. 支持 Flink 1.13., 1.14., 1.15., 1.16.0
    • 2.4 系列

      • Flink CDC 2.4.* 支持 Flink 1.12.x 和 1.13.x,具体来说,FlinkCDC 2.4.1 版本支持 Flink 1.12.2 和 1.13.2。
    2023-12-01 17:10:12
    赞同 展开评论 打赏
  • "这个maven仓有的
    image.png,此回答整理自钉群“Flink CDC 社区”"

    2023-12-01 11:43:13
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载