开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下Flink CDC,上面的6个包为啥不需要?

请问一下Flink CDC,上面的6个包为啥不需要?648e6de42f389fa595d62e62e7da0b35.pngef099bf246790e123521d78c8255420a.png

展开
收起
真的很搞笑 2023-11-22 07:45:56 27 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC(Flink Connective DataStream)是 Apache Flink 的一个子项目,它提供了一种在流处理系统中使用 Flink SQL 语句进行数据一致性和容错性操作的方法。在 Flink CDC 中,需要的包通常包括 flink-cdc-connector-, flink-cdc-hadoop-, flink-cdc-connector-hdfs-, flink-cdc-connector-kafka-, flink-cdc-connector-tpch-, flink-cdc-connector-jdbc-. 这些包通常与 Flink CDC 的各种连接器和适配器有关,用于连接不同的数据源(如 Kafka、Hadoop、Kafka、TPC-H 等等)并进行数据的捕获、转换和写入

    2023-11-29 15:19:45
    赞同 展开评论 打赏
  • 如果使用sql方式,需要sql的胖包,然后,cdc里面有debezium的相关依赖,你有可能会冲突,你这几个包都是不需要的,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 11:59:58
    赞同 展开评论 打赏
  • Flink CDC 是 Apache Flink 提供的一种流式数据变更捕获(Change Data Capture)机制,用于实时处理数据库的变更事件。在 Flink CDC 中,Debezium 是一个常用的库,用于从数据库中捕获变更事件并将其转换为 Flink 可以处理的数据流。

    根据您提供的包名列表,以下是对每个包的解释:

    1. debezium-api-2.2.1.Final.jar: 这是 Debezium API 的实现,提供了与数据库进行交互和捕获变更事件的功能。它是 Flink CDC 的核心组件之一。

    2. debeziu-connector-sqlserver-2.4.0Pinal.jar: 这个包是针对 SQL Server 数据库的 Debezium 连接器。它实现了与 SQL Server 数据库的连接和变更事件的捕获。如果您正在使用 SQL Server 作为源数据库,那么这个包是必需的。

    3. debeziu-embedded-2.2.1.Final.jar: 这个包包含了 Debezium 嵌入式引擎的实现。嵌入式引擎允许您在应用程序中直接运行 Debezium,而无需单独启动一个独立的 Debezium 实例。如果您希望将 Debezium 集成到您的应用程序中,那么这个包是必需的。

    4. debezium-core-2.2.1.Final.jar: 这个包包含了 Debezium 核心功能的实现,包括与数据库的连接、变更事件的捕获和转换等。它是 Flink CDC 的基础组件之一。

    根据您的需求,如果您正在使用 SQL Server 作为源数据库并且希望将 Debezium 集成到您的应用程序中,那么您需要包含以下包:

    • debezium-api-2.2.1.Final.jar
    • debeziu-connector-sqlserver-2.4.0Pinal.jar
    • debeziu-embedded-2.2.1.Final.jar
    • debezium-core-2.2.1.Final.jar
    2023-11-22 10:19:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载