开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink在同一个任务中,创建了多个mysql cdc源表,这些源表会复用同一个连接池嘛?

Flink在同一个任务中,创建了多个mysql cdc源表,这些源表会复用同一个连接池嘛?

展开
收起
三分钟热度的鱼 2023-12-13 18:05:50 175 0
2 条回答
写回答
取消 提交回答
  • 在Apache Flink中,当您在一个任务中创建了多个MySQL CDC源表时,通常情况下,这些源表会共享同一个数据库连接池。这是因为Flink的CDC Connectors(如MySQL CDC Connector)通常会为每个任务配置一个单独的数据库连接池。

    默认情况下,Flink SQL CDC Connectors使用HikariCP作为其JDBC连接池实现。HikariCP是一个高性能的JDBC连接池库,它允许您在应用程序中设置连接池参数以优化性能和资源利用。

    在实践中,如果您的任务中有多个MySQL CDC源表,它们将共享相同的连接池。这可以提高资源利用率并减少数据库服务器上的开销。然而,共享连接池也意味着不同的源表可能会竞争数据库连接,这可能会影响性能。

    为了优化性能,您可以考虑以下策略:

    • 调整连接池大小:根据您的系统资源和数据吞吐量调整连接池的最小和最大连接数。
    • 使用多任务:如果您发现单个任务中的多个源表之间的并发需求很高,可以考虑将它们拆分为多个独立的任务,每个任务只包含一部分源表。
    • 分区和负载均衡:通过分区和负载均衡策略来平衡不同源表的数据处理需求。
    2023-12-13 19:50:45
    赞同 展开评论 打赏
  • 2023-12-13 18:27:49
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像