开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 是不是得放各自connector的瘦包?

Flink CDC mysql sqlserver 共存的采集,是不是得放各自connector的瘦包,然后再放其他的包,比如debezium等,好像只能这样了?

展开
收起
真的很搞笑 2023-11-22 09:26:40 43 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,为了同时采集多个数据库,您需要分别下载并安装 Flink CDC 的各个连接器。您可以在 Flink CDC 官网上找到相应的连接器,例如 MySQL 和 SQLServer 的连接器。
    此外,您还可以在您的应用程序中同时加载多个连接器,以便于同时采集多个数据库。例如:

    val connectorList = List(
      "mysql-connector-java", // MySQL 连接器
      "sqlserver-connector-java", // SQL Server 连接器
      "debezium-connector-mysql" // Debezium 连接器
    )
    
    // 加载连接器
    for (connector <- connectorList) {
      val url = s"https://repo1.maven.org/maven2/io/debezium/debezium-connector-$connector/$connector-version/$connector-$connector-version.jar"
      addJar(url)
    }
    

    需要注意的是,每种连接器都需要不同的参数设置,所以请参阅 Flink CDC 文档以了解更多信息。

    2023-11-29 13:50:22
    赞同 展开评论 打赏
  • 确实,为了采集MySQL和SQLServer的数据并存放到Flink中,你需要使用各自的connector。对于MySQL,可以使用Flink CDC连接器;对于SQL Server,可使用flink-connector-sqlserver-cdc。

    Flink CDC Connectors 是 Apache Flink 的一组源连接器,可以从 MySQL、PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors。而flink-connector-sqlserver-cdc则是专门为SQL Server设计的实时同步工具。

    这些连接器可以分别独立工作,也可以同时工作,将多个数据源的数据采集到同一个Flink任务中进行统一的处理和分析。不过在使用之前,确保各自环境已经做好配置,例如启用了对应数据库的CDC功能。

    2023-11-25 09:17:07
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载