请教下 flink cdc oracle 任务运行进程内存会一直增长,报ORA-04030 ,flink 任务能一直跑吗?有解决办法吗? flink 我这边目前设置的参数 有 'debezium.log.mining.strategy'='online_catalog' 'debezium.log.mining.batch.size.max'='30000000000000', 'debezium.log.mining.batch.size.min'='10000', 'debezium.log.mining.batch.size.default'='2000000', 'debezium.log.mining.transaction.retention.hours'='1', 'debezium.log.mining.session.max.ms'='600000', 'scan.startup.mode'='initial'
报ORA-04030,这是因为Flink任务在运行过程中,会不断地从Oracle数据库中抓取数据,而抓取的数据会被缓存在内存中,如果缓存的数据量超过了Oracle数据库的最大内存限制,就会报ORA-04030错误。 要解决这个问题,可以通过调整Flink任务的参数来降低内存的使用量, 比如设置debezium.log.mining.strategy为online_catalog, 设置debezium.log.mining.batch.size.max、debezium.log.mining.batch.size.min、debezium.log.mining.batch.size.default等参数,以及设置debezium.log.mining.transaction.retention.hours和debezium.log.mining.session.max.ms等参数,这些参数的设置都可以帮助降低Flink任务的内存使用量,从而避免报ORA-04030错误。
楼主你好,引起ORA-04030的原因,是不能分配更多的内存,解决办法有两种,其一是加大内存,其二,则是对Oracle的内存控制参数进行调整,使其内存分配更适合于当前的应用程序。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。