flinkcdc 导致 Oracle 连接数暴增,在哪个版本中解决了,现在用的是 2.3?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据提供的知识库资料,以下是关于 Flink CDC 导致 Oracle 连接数暴增问题 的解答:
在使用 Flink CDC 时,如果连接数暴增,通常与以下因素有关: 1. CDC消费阶段:全量阶段可能会占用大量连接数。 2. 并发设置过高:作业的并发数设置过大可能导致连接池资源被快速耗尽。 3. 连接池配置不当:连接池的 Size
设置过大,进一步加剧了连接数的消耗。
针对 Oracle 数据库,连接数暴增的问题可能与 Flink CDC 版本相关。根据知识库中的信息,Dataphin 实时集成在 V3.13 版本前使用的是 Oracle CDC 2.3 版本,而在 V3.13 版本后升级到了 Oracle CDC 2.4 版本。
如果无法立即升级版本,可以通过以下方式优化现有配置: - 降低作业并发数:减少 Flink 作业的并发度,避免过多任务同时占用连接资源。 - 调整连接池大小:合理设置连接池的 Size
参数,避免因连接池过大导致资源耗尽。 - 复用连接:优化 SQL 逻辑,尝试使用 CDAS(Change Data Application Service)来复用连接,减少不必要的连接创建。
确保 Oracle 数据库的权限和配置正确,避免因权限不足或配置错误导致连接数异常增加: - 确认是否启用了补偿日志(Supplemental Logging),并检查相关表是否存在。 - 使用以下 SQL 命令排查补偿日志状态:
SELECT * FROM dba_log_groups WHERE table_name = 'PF_ID_NAME_PK';
SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER';
SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER';
以上内容基于知识库资料整理,具体操作请结合实际环境进行验证。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。