开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle cdc 2.3里面导致数据库连接数暴涨的BUG是不是也存在啊?

Flink CDC中oracle cdc 2.3里面导致数据库连接数暴涨的BUG是不是也存在啊?

展开
收起
cuicuicuic 2023-07-13 15:17:06 185 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 2.3 版本中,的确存在一个已知的问题,即在使用 Oracle CDC 时可能会导致数据库连接数暴涨的问题。

    这个问题是由于 Oracle CDC 在进行数据抽取时,使用了一种基于数据库触发器的实现方式,每次触发器执行时都会创建一个新的数据库连接。如果数据抽取的频率比较高,可能会导致数据库连接数暴涨,从而影响系统的稳定性和性能。

    针对这个问题,Flink CDC 2.4 版本中提供了一个新的 Oracle CDC 实现方式,使用了基于日志挖掘的方式来进行数据抽取,可以避免数据库连接数暴涨的问题,并提高数据抽取和同步的效率。如果你在使用 Flink CDC 2.3 版本时遇到了数据库连接数暴涨的问题,建议升级到 Flink CDC 2.4 版本,并使用新的 Oracle CDC 实现方式来进行数据抽取和同步。

    需要注意的是,在使用 Flink CDC 2.4 版本时,你需要根据具体的数据库和表结构,选择合适的数据抽取策略和配置参数,以达到最佳的数据同步效果。同时,你也需要根据实际情况,适当调整 Flink CDC 的并行度、批处理大小、网

    2023-07-29 21:52:11
    赞同 展开评论 打赏
  • Flink CDC 在 Oracle CDC 2.3 版本中的确存在一个已知的问题,即会导致数据库连接数暴涨。这个问题主要涉及到 Flink 使用的开源库 LogMiner,它在特定情况下无法正确释放数据库连接,导致连接数逐渐增加。

    由于这个问题的存在,使用 Flink CDC 2.3 版本时可能会出现数据库连接数增加到上限、性能下降以及其他与连接相关的问题。

    好消息是,Flink 社区已经修复了这个问题,并在后续版本中进行了改进。如果您遇到了数据库连接数暴涨的问题,我建议您升级到最新版本的 Flink CDC(如 2.4.0 或更新版本),以获得修复后的版本。

    除升级到最新版本外,您还可以考虑以下临时解决办法:

    • 限制并发任务数:通过限制 Flink 任务的并发数来减少数据库连接数。
    • 缩短 CDC 拉取频率:如果可能,调整 Flink CDC 的配置参数,在拉取变更数据的频率上进行适当的调整,从而减少连接数增长速度。
    2023-07-15 09:28:15
    赞同 展开评论 打赏
  • 存在即是合理

    Flink CDC中Oracle CDC 2.3版本中,Oracle CDC连接器对接到了Flink CDC增量快照框架上,实现了增量快照算法,从而提供无锁读取、并行读取和断点续传的功能。 但确实不少用户反映在Flink CDC中Oracle CDC 2.3版本里面导致数据库连接数暴涨的BUG存在。

    2023-07-14 12:15:57
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载