开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC大佬,mysql-cdc在同步的时候是占用的jdbc连接吗,如果一个flink任?

问题1:Flink CDC大佬,mysql-cdc在同步的时候是占用的jdbc连接吗,如果一个flink任务里面部署多张表,同步增量数据的时候默认使用的是一个并行度,那么是不是有几个表就会占用几个jdbc连接?是的,也就是说即使我使用了不同的server-id但是其实只会占用一个连接数是吗?
问题2:假如我的一个任务里面有两张表的同步任务,并行度设置的是3 ,server-id 一张表是1-3 另外一张表是4-6 全量阶段的连接数就是6个,增量阶段就是2个,是这样吗,这个还有区别吗,我用的2.3的

展开
收起
cuicuicuic 2023-07-13 15:03:10 174 0
4 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    是的,MySQL CDC 在同步数据时需要占用 JDBC 连接,因为它需要不断地监测 MySQL 数据库中的 binlog,并将 binlog 中的变更转换成 Flink 可以处理的数据格式。因此,在 MySQL CDC 同步数据时,会占用一定数量的 JDBC 连接。

    如果一个 Flink 任务同时需要同步多个 MySQL 数据库的数据,那么它需要使用多个 JDBC 连接,以实现同时访问多个 MySQL 数据库的功能。在这种情况下,你需要根据实际情况配置适当的 JDBC 连接池大小,以确保 Flink 能够同时访问多个 MySQL 数据库,并且不会因为连接池过小而导致任务失败或者性能下降。

    需要注意的是,Flink CDC 的性能和稳定性受多方面因素影响,如网络延迟、数据量大小、数据格式复杂度、JDBC 连接池大小等。因此,在使用 Flink CDC 同步数据时,你需要根据实际情况进行相应的优化和调整,以提高同步效率和稳定性。具体来说,你可以优化网络带宽、调整数据格式、增加 JDBC 连接池大小等,以提高 Flink CDC 的性能和稳定性。

    2023-07-29 21:58:51
    赞同 展开评论 打赏
  • 问题1:是的,MySQL CDC 在同步时会占用 JDBC 连接。即使在一个 Flink 任务中部署了多张表,同步增量数据时默认使用的是一个并行度,因此只会占用一个 JDBC 连接。不论你使用了不同的 server-id,实际上都只会占用一个连接数。

    问题2:如果一个任务中有两张表的同步任务,并行度设置为 3,并且一张表的 server-id 是 1-3,另一张表的 server-id 是 4-6,那么全量阶段的连接数将是 6 个,增量阶段的连接数将是 2 个。这是因为全量阶段需要连接到所有源数据库节点,而增量阶段只需要连接到已更新数据所在的节点。

    需要注意的是,具体的行为可能会因你使用的 Flink 版本不同而有所差异。在 Flink 2.3 版本中,你可以通过 connection.pool.size 配置属性来控制 JDBC 连接数。确保根据任务的需求和系统资源分配合理地设置并行度和连接数。

    2023-07-29 19:41:13
    赞同 展开评论 打赏
  • 存在即是合理

    问题1:是的,MySQL CDC 在同步时会占用一个 JDBC 连接。即使在 Flink 任务中部署了多张表,同步增量数据时默认使用的是一个并行度,因此只会占用一个连接数。即使使用了不同的 server-id,也只会占用一个连接数。

    问题2:是的。如果任务中有两张表的同步任务,并行度设置为3,其中一张表的 server-id 为1-3,另一张表的 server-id 为4-6,那么全量阶段的连接数就是6个,增量阶段的连接数就是2个。这个区别在于全量阶段需要连接到所有的源数据库节点,而增量阶段只需要连接到源数据库节点上已经更新的数据所在的节点。

    2023-07-17 14:35:28
    赞同 展开评论 打赏
  • 回答1:你指的是一个job任务吗,如果是,他们会复用一个jdbc连接,但是会有不同的server-id
    回答2:你走的是2.4还是2.3版本,connection.pool.size 控制jdbc连接数image.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-07-13 16:16:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像