开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc2.4底层debezium版本的多少?

flinkcdc2.4底层debezium版本的多少?

展开
收起
真的很搞笑 2023-06-18 12:45:06 376 0
7 条回答
写回答
取消 提交回答
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    2.4 版本升级 Debezium 的依赖版本到 1.9.7.Final,引入了 Debezium 新版本的功能,优化和修复,比如:修复部分 DDL 无法解析的问题,修复解析 MySQL JSON 函数问题,Oracle 事件增加 scn 信息等。
    增量快照框架在 2.4 版本增加了自动关闭全量阶段结束后的空闲 Reader 功能,该功能非常实用,可以在生产环境节省资源。
    MySQL CDC 连接器在 2.4 版本支持读取无主键表,同时支持新增表时原有实时同步链路不断流。
    社区 2.4 版本兼容 Flink 1.13 ~ 1.17 五个 Flink 版本。CDC 的 SQL Connector 可以跑在不同的 Flink 集群上而无需任何修改,实现跨版本兼容。如果是 Datastream 作业,则需要根据不同的 Flink 版本引入不同版本的 flink-shaded-guava 依赖,DataStream 用户可以参考 SQL Connector 的打包方式管理正确的依赖。
    MongoDB CDC 支持指定时间戳消费数据,支持 mongodb + srv 连接协议,并修复了若干问题,如:无法解析带连字符的库名,'poll.await.time.ms' 配置未生效,解析 DDL出现空指针等。image.png

    OceanBase CDC 连接器支持 JDBC 参数设置,支持指定 Oracle 驱动,完善对 Oracle 数据类型的支持。image.png

    2023-08-25 17:04:06
    赞同 展开评论 打赏
  • Debezium 是一个分布式平台,用于捕获和存储数据库变化,而 FlinkCDC 是一个基于 Debezium 的流处理组件,用于捕获数据库变化并将其转换为 Flink 可处理的流数据。

    FlinkCDC 2.4 的底层 Debezium 版本是1.9.7.Final。
    image.png

    2023-08-22 17:36:57
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,阿里云Flink CDC 2.4 版本底层使用的 Debezium 版本是 1.1.0.Final。Debezium 是 CDC(Change Data Capture)领域的一个开源项目,用于捕获数据库的变更数据并将其提供给其他系统进行消费和处理。
    image.png

    在阿里云 Flink CDC 2.4 版本中,Debezium 1.1.0.Final 被集成为其中的一部分,用于支持不同类型的数据源(如 MySQL、PostgreSQL、Oracle 等)的数据采集和同步。最后再来看看这个:
    image.png

    2023-08-21 11:10:38
    赞同 展开评论 打赏
  • Flink CDC 2.4 使用的是 Debezium 1.9.7 版本。该版本的 Debezium 支持 MySQL、PostgreSQL、MongoDB、SQL Server 等多种数据库,并且增加了对 Oracle 数据库的支持。同时,该版本还改进了 Avro 格式的支持,提供了更好的性能和扩展性。

    需要注意的是,Flink CDC 2.4 的 Debezium 版本与 Flink 版本是紧密关联的,因此在使用 Flink CDC 时,需要根据 Flink 版本来选择相应的 Flink CDC 版本和 Debezium 版本。如果您需要使用其他版本的 Debezium,可以考虑自行集成 Debezium,或者使用 Flink 的外部连接器机制来实现数据源的接入。

    image.png
    image.png

    2023-08-15 14:49:39
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink CDC目前主流版本2.4.x使用的Debezium版本如下:

    Flink CDC 2.4.0 使用Debezium 1.7.x系列

    Flink CDC 2.4.1 使用Debezium 1.8.x系列

    Flink CDC 2.4.2 使用Debezium 1.9.x系列

    具体版本对应关系:

    Flink CDC 2.4.0 - Debezium 1.7.4

    Flink CDC 2.4.1 - Debezium 1.8.2

    Flink CDC 2.4.2 - Debezium 1.9.2.Final

    也就是说:

    2.4.0 使用Debezium 1.7.x LTS稳定版
    2.4.1 使用Debezium 1.8.x
    2.4.2 使用Debezium 1.9.x最新版本
    Flink CDC会根据Debezium的主版本迭代,及时升级和兼容Debezium新增的特性。

    当前Debezium最新版本是1.10.x系列。后续Flink CDC也会逐步升级兼容。

    2023-08-14 15:42:46
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    如果您想要知道Flink CDC 2.4底层使用的Debezium版本,可以通过以下方式进行查看:

    查看Flink CDC的配置文件:在Flink CDC的配置文件中,可以查看connector参数,以确定Flink CDC使用的Debezium版本。例如,如果您的Flink CDC使用的是mysql-connector-java-5.1.46,那么Flink CDC使用的是Debezium MySQL 1.4.0.Final版本。
    查看Flink CDC的启动命令:在Flink CDC的启动命令中,可以查看--add-plugins参数,以确定Flink CDC使用的Debezium版本。例如,如果您的Flink CDC使用的是mysql-connector-java-5.1.46,那么Flink CDC使用的是Debezium MySQL 1.4.0.Final版本。
    需要注意的是,如果您在生产环境中使用Flink CDC,那么您需要确保Flink CDC使用的是稳定版本的Debezium。同时,您还需要确保Flink CDC的数据备份和恢复机制,以保证数据的安全性和可靠性。

    2023-08-14 13:45:27
    赞同 展开评论 打赏
  • 在 Flink CDC 2.4 中,底层使用的是 Debezium ORM (Object-Relational Mapping) 框架的版本。具体来说,Flink CDC 2.4 使用的是 Debezium ORM 1.4.x 版本。

    Debezium 官方文档:https://debezium.io/documentation/1.4.1.Final/connectors/index.html

    image.png

    Flink 官方文档中: https://nightlies.apache.org/flink/flink-docs-stable/zh/

    image.png

    2023-08-14 10:32:36
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载