Flink CDC中oracle cdc 2.3里面导致数据库连接数暴涨的BUG是不是也存在啊?
在 Flink CDC 2.3 版本中,的确存在一个已知的问题,即在使用 Oracle CDC 时可能会导致数据库连接数暴涨的问题。
这个问题是由于 Oracle CDC 在进行数据抽取时,使用了一种基于数据库触发器的实现方式,每次触发器执行时都会创建一个新的数据库连接。如果数据抽取的频率比较高,可能会导致数据库连接数暴涨,从而影响系统的稳定性和性能。
针对这个问题,Flink CDC 2.4 版本中提供了一个新的 Oracle CDC 实现方式,使用了基于日志挖掘的方式来进行数据抽取,可以避免数据库连接数暴涨的问题,并提高数据抽取和同步的效率。如果你在使用 Flink CDC 2.3 版本时遇到了数据库连接数暴涨的问题,建议升级到 Flink CDC 2.4 版本,并使用新的 Oracle CDC 实现方式来进行数据抽取和同步。
需要注意的是,在使用 Flink CDC 2.4 版本时,你需要根据具体的数据库和表结构,选择合适的数据抽取策略和配置参数,以达到最佳的数据同步效果。同时,你也需要根据实际情况,适当调整 Flink CDC 的并行度、批处理大小、网
Flink CDC 在 Oracle CDC 2.3 版本中的确存在一个已知的问题,即会导致数据库连接数暴涨。这个问题主要涉及到 Flink 使用的开源库 LogMiner,它在特定情况下无法正确释放数据库连接,导致连接数逐渐增加。
由于这个问题的存在,使用 Flink CDC 2.3 版本时可能会出现数据库连接数增加到上限、性能下降以及其他与连接相关的问题。
好消息是,Flink 社区已经修复了这个问题,并在后续版本中进行了改进。如果您遇到了数据库连接数暴涨的问题,我建议您升级到最新版本的 Flink CDC(如 2.4.0 或更新版本),以获得修复后的版本。
除升级到最新版本外,您还可以考虑以下临时解决办法:
Flink CDC中Oracle CDC 2.3版本中,Oracle CDC连接器对接到了Flink CDC增量快照框架上,实现了增量快照算法,从而提供无锁读取、并行读取和断点续传的功能。 但确实不少用户反映在Flink CDC中Oracle CDC 2.3版本里面导致数据库连接数暴涨的BUG存在。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。