开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大佬 我想问一下 Flink CDC中Oracle cdc连接数过多这个问题 有啥解决办法吗?

大佬 我想问一下 Flink CDC中Oracle cdc连接数过多这个问题 有啥解决办法吗?image.png
这都有2.5了?image.png

展开
收起
真的很搞笑 2023-07-13 12:07:01 372 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中,Oracle CDC 连接器连接数过多的问题可能会影响数据库的性能和稳定性。这通常是由于 Flink CDC 的并发度(parallelism)设置过高,导致连接器创建了大量的数据库连接,占用了过多的系统资源。为了解决这个问题,可以采取以下措施:

    调整并发度:减少 Oracle CDC 连接器的并发度,降低连接数。可以通过调整 Flink 作业的并发度,或者在 Oracle CDC 连接器的配置中设置 max.concurrent.operations 参数来控制并发度。

    增加连接池大小:在 Oracle CDC 连接器的配置中,可以设置连接池的大小(connection.pool.max.size 参数),以限制连接数并避免连接数过多的问题。

    优化数据库结构和索引:优化数据库结构和索引,可以提高数据库的性能和响应速度,减少连接器的连接和查询操作。

    2023-07-30 09:37:19
    赞同 展开评论 打赏
  • 在 Flink CDC 中,如果 Oracle CDC 连接数过多导致性能问题,可以尝试以下解决办法:

    1. 调整并发连接数:Oracle CDC 连接器允许您配置并发的最大连接数。您可以根据实际需求和系统资源调整这个参数,限制同时进行的连接数,以减轻数据库的负担。

    2. 增加资源配额:如果可行的话,可以增加系统中的计算资源,例如增加 CPU、内存等,以支持更多的并发连接。

    3. 分片或分区表:如果可能的话,在数据库中将表进行分片或分区。这样可以将数据分散到多个物理存储位置,从而减少单个表上的并发连接数。

    4. 定期清理闲置连接:定期检查和清理不再使用的闲置连接,以释放数据库资源。

    5. 使用连接池:使用连接池管理连接可以提高连接的复用率,减少连接的创建和销毁开销,从而优化连接管理。

    6. 升级到最新版本:如前面提到的,有时候连接数过多的问题可能是由于连接器本身的问题引起的。您可以查看 Flink CDC 的最新版本,并确保使用的是最新版本,以获得修复了连接数问题的更新。

    如果您遇到连接数过多的具体问题,建议提供更详细的信息并向 Flink CDC 的官方渠道(例如邮件列表、社区论坛或 GitHub)提问,以获取更准确和针对性的帮助和建议。

    2023-07-29 22:38:15
    赞同 展开评论 打赏
  • 你去提issue,这个问题已经修复,但是还没发版本,可以现在自己打包下,此回答整理自钉群“Flink CDC 社区”

    2023-07-13 15:49:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像