Flink CDC 使用yarn-session的模式来提交任务,空间的资源会不会释放给yarn?
在Flink on YARN的yarn-session
模式下,当你提交并运行一个或多个Flink任务时,YARN会为这个session预先分配固定的资源。这些资源(包括内存、CPU核心等)在整个session持续期间会被Flink集群占用,即使当前没有运行任何job或者job已经完成,这些资源也不会自动返还给YARN。
也就是说,在yarn-session
模式下,Flink会一直持有YARN为其分配的资源,直到你显式地关闭这个session。当通过命令行工具或者API终止session时,Flink会释放它在YARN上申请的所有资源,此时其他应用才能重新使用这些资源。
如果你需要更细粒度的资源管理,即每个job运行完成后立即释放资源,可以考虑使用per-job
模式,这样每个Flink作业都会作为一个独立的应用在YARN上运行,并在作业结束后自动回收资源。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。