Flink CDC(Flink Connective DataStream)是 Apache Flink 的一个子项目,它提供了一种在流处理系统中使用 Flink SQL 语句进行数据一致性和容错性操作的方法。在 Flink CDC 中,需要的包通常包括 flink-cdc-connector-, flink-cdc-hadoop-, flink-cdc-connector-hdfs-, flink-cdc-connector-kafka-, flink-cdc-connector-tpch-, flink-cdc-connector-jdbc-. 这些包通常与 Flink CDC 的各种连接器和适配器有关,用于连接不同的数据源(如 Kafka、Hadoop、Kafka、TPC-H 等等)并进行数据的捕获、转换和写入
如果使用sql方式,需要sql的胖包,然后,cdc里面有debezium的相关依赖,你有可能会冲突,你这几个包都是不需要的,此回答整理自钉群“Flink CDC 社区”
Flink CDC 是 Apache Flink 提供的一种流式数据变更捕获(Change Data Capture)机制,用于实时处理数据库的变更事件。在 Flink CDC 中,Debezium 是一个常用的库,用于从数据库中捕获变更事件并将其转换为 Flink 可以处理的数据流。
根据您提供的包名列表,以下是对每个包的解释:
debezium-api-2.2.1.Final.jar
: 这是 Debezium API 的实现,提供了与数据库进行交互和捕获变更事件的功能。它是 Flink CDC 的核心组件之一。
debeziu-connector-sqlserver-2.4.0Pinal.jar
: 这个包是针对 SQL Server 数据库的 Debezium 连接器。它实现了与 SQL Server 数据库的连接和变更事件的捕获。如果您正在使用 SQL Server 作为源数据库,那么这个包是必需的。
debeziu-embedded-2.2.1.Final.jar
: 这个包包含了 Debezium 嵌入式引擎的实现。嵌入式引擎允许您在应用程序中直接运行 Debezium,而无需单独启动一个独立的 Debezium 实例。如果您希望将 Debezium 集成到您的应用程序中,那么这个包是必需的。
debezium-core-2.2.1.Final.jar
: 这个包包含了 Debezium 核心功能的实现,包括与数据库的连接、变更事件的捕获和转换等。它是 Flink CDC 的基础组件之一。
根据您的需求,如果您正在使用 SQL Server 作为源数据库并且希望将 Debezium 集成到您的应用程序中,那么您需要包含以下包:
debezium-api-2.2.1.Final.jar
debeziu-connector-sqlserver-2.4.0Pinal.jar
debeziu-embedded-2.2.1.Final.jar
debezium-core-2.2.1.Final.jar
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。