Flink报错NoResourceAvailableException: No pooled ...
已解决Flink报错NoResourceAvailableException: No pooled slot available and request to ResourceManager for new slot failed
展开
收起
1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答采纳回答一般是由于内存OOM，如果有TM现场的话，可以看下TM内存和 mysql-cdc source checkpoint的大小，如果很大的话（GB以上），那么应该就是用户 DB 中有非常频繁的DDL变更。可以加上'debezium.database.history.store.only.monitored.tables.ddl' = 'true' 参数绕过。原理：debezium默认会捕获整库的DDL变更历史，并存到kafka topic中。我们是存到了内存里面，然后作为checkpoint的一部分存下来。而这个DDL变更历史没有清理机制，所以肯定会越来越大。如果正常的数据库，作业平时跑跑还好。如果遇到极端情况，就可能经常OOM。上面的参数就是只记录监控表的DDL变更，数据量会小很多。但是这个会导致如果用户在该表上做了 无锁变更，那么作业就会失败。2024-05-30 17:11:12赞同 1 展开评论 打赏
问答分类：
关联地址：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
