2.4 版本升级 Debezium 的依赖版本到 1.9.7.Final,引入了 Debezium 新版本的功能,优化和修复,比如:修复部分 DDL 无法解析的问题,修复解析 MySQL JSON 函数问题,Oracle 事件增加 scn 信息等。
增量快照框架在 2.4 版本增加了自动关闭全量阶段结束后的空闲 Reader 功能,该功能非常实用,可以在生产环境节省资源。
MySQL CDC 连接器在 2.4 版本支持读取无主键表,同时支持新增表时原有实时同步链路不断流。
社区 2.4 版本兼容 Flink 1.13 ~ 1.17 五个 Flink 版本。CDC 的 SQL Connector 可以跑在不同的 Flink 集群上而无需任何修改,实现跨版本兼容。如果是 Datastream 作业,则需要根据不同的 Flink 版本引入不同版本的 flink-shaded-guava 依赖,DataStream 用户可以参考 SQL Connector 的打包方式管理正确的依赖。
MongoDB CDC 支持指定时间戳消费数据,支持 mongodb + srv 连接协议,并修复了若干问题,如:无法解析带连字符的库名,'poll.await.time.ms' 配置未生效,解析 DDL出现空指针等。
OceanBase CDC 连接器支持 JDBC 参数设置,支持指定 Oracle 驱动,完善对 Oracle 数据类型的支持。
Debezium 是一个分布式平台,用于捕获和存储数据库变化,而 FlinkCDC 是一个基于 Debezium 的流处理组件,用于捕获数据库变化并将其转换为 Flink 可处理的流数据。
FlinkCDC 2.4 的底层 Debezium 版本是1.9.7.Final。
楼主你好,阿里云Flink CDC 2.4 版本底层使用的 Debezium 版本是 1.1.0.Final。Debezium 是 CDC(Change Data Capture)领域的一个开源项目,用于捕获数据库的变更数据并将其提供给其他系统进行消费和处理。
在阿里云 Flink CDC 2.4 版本中,Debezium 1.1.0.Final 被集成为其中的一部分,用于支持不同类型的数据源(如 MySQL、PostgreSQL、Oracle 等)的数据采集和同步。最后再来看看这个:
Flink CDC 2.4 使用的是 Debezium 1.9.7 版本。该版本的 Debezium 支持 MySQL、PostgreSQL、MongoDB、SQL Server 等多种数据库,并且增加了对 Oracle 数据库的支持。同时,该版本还改进了 Avro 格式的支持,提供了更好的性能和扩展性。
需要注意的是,Flink CDC 2.4 的 Debezium 版本与 Flink 版本是紧密关联的,因此在使用 Flink CDC 时,需要根据 Flink 版本来选择相应的 Flink CDC 版本和 Debezium 版本。如果您需要使用其他版本的 Debezium,可以考虑自行集成 Debezium,或者使用 Flink 的外部连接器机制来实现数据源的接入。
Flink CDC目前主流版本2.4.x使用的Debezium版本如下:
Flink CDC 2.4.0 使用Debezium 1.7.x系列
Flink CDC 2.4.1 使用Debezium 1.8.x系列
Flink CDC 2.4.2 使用Debezium 1.9.x系列
具体版本对应关系:
Flink CDC 2.4.0 - Debezium 1.7.4
Flink CDC 2.4.1 - Debezium 1.8.2
Flink CDC 2.4.2 - Debezium 1.9.2.Final
也就是说:
2.4.0 使用Debezium 1.7.x LTS稳定版
2.4.1 使用Debezium 1.8.x
2.4.2 使用Debezium 1.9.x最新版本
Flink CDC会根据Debezium的主版本迭代,及时升级和兼容Debezium新增的特性。
当前Debezium最新版本是1.10.x系列。后续Flink CDC也会逐步升级兼容。
如果您想要知道Flink CDC 2.4底层使用的Debezium版本,可以通过以下方式进行查看:
查看Flink CDC的配置文件:在Flink CDC的配置文件中,可以查看connector参数,以确定Flink CDC使用的Debezium版本。例如,如果您的Flink CDC使用的是mysql-connector-java-5.1.46,那么Flink CDC使用的是Debezium MySQL 1.4.0.Final版本。
查看Flink CDC的启动命令:在Flink CDC的启动命令中,可以查看--add-plugins参数,以确定Flink CDC使用的Debezium版本。例如,如果您的Flink CDC使用的是mysql-connector-java-5.1.46,那么Flink CDC使用的是Debezium MySQL 1.4.0.Final版本。
需要注意的是,如果您在生产环境中使用Flink CDC,那么您需要确保Flink CDC使用的是稳定版本的Debezium。同时,您还需要确保Flink CDC的数据备份和恢复机制,以保证数据的安全性和可靠性。
在 Flink CDC 2.4 中,底层使用的是 Debezium ORM (Object-Relational Mapping) 框架的版本。具体来说,Flink CDC 2.4 使用的是 Debezium ORM 1.4.x 版本。
Debezium 官方文档:https://debezium.io/documentation/1.4.1.Final/connectors/index.html
Flink 官方文档中: https://nightlies.apache.org/flink/flink-docs-stable/zh/
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。