开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 使用yarn-session的模式来提交任务,空间的资源会不会释放给yarn?

Flink CDC 使用yarn-session的模式来提交任务,空间的资源会不会释放给yarn?

展开
收起
真的很搞笑 2023-12-31 08:55:18 84 0
2 条回答
写回答
取消 提交回答
  • 如果作业(Job)完成或被取消,Flink 会释放该作业所占用的资源。

    2023-12-31 15:48:08
    赞同 展开评论 打赏
  • 在Flink on YARN的yarn-session模式下,当你提交并运行一个或多个Flink任务时,YARN会为这个session预先分配固定的资源。这些资源(包括内存、CPU核心等)在整个session持续期间会被Flink集群占用,即使当前没有运行任何job或者job已经完成,这些资源也不会自动返还给YARN。

    也就是说,在yarn-session模式下,Flink会一直持有YARN为其分配的资源,直到你显式地关闭这个session。当通过命令行工具或者API终止session时,Flink会释放它在YARN上申请的所有资源,此时其他应用才能重新使用这些资源。

    如果你需要更细粒度的资源管理,即每个job运行完成后立即释放资源,可以考虑使用per-job模式,这样每个Flink作业都会作为一个独立的应用在YARN上运行,并在作业结束后自动回收资源。

    2023-12-31 13:15:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载