开发者社区> 问答> 正文

Flink中是否可动态Task调度

我目前学习到的情况是,Flink在初次运行Job时,会先申请所有需要的Slot,确定每一个Task都在哪个TM的哪个Slot中,然后再执行整个任务。 那么在执行阶段,能否动态调节某一组Task/SubTask从一个slot转移到另一个空闲的slot(甚至从一个TM转移到另一个TM这种跨TM)?

例如算子并发度3、两个TM、每个TM有3个slot的情况下,资源预申请时可能3个subTask都被放置在TM 1的3个slot中。 那么在运行时,能否动态调节其中一个subTask到TM 2的1个slot中?*来自志愿者整理的flink邮件归档

展开
收起
说了是一只鲳鱼 2021-12-07 11:14:04 1113 0
2 条回答
写回答
取消 提交回答
  • 
    
    
    如果是你举例的这种情况,可以配置 `cluster.evenly-spread-out-slots: true`[1] 来促使 slot 在 TM
    
    上尽量均匀分布。*来自志愿者整理的flink邮件归档
    
    2021-12-07 11:26:40
    赞同 展开评论 打赏
  • Flink 不支持执行中更改 slot 的情况。不确定你说的“预申请”是什么意思。

    如果是你举例的这种情况,可以配置 cluster.evenly-spread-out-slots: true[1] 来促使 slot 在 TM

    上尽量均匀分布。*来自志愿者整理的flink邮件归档

    2021-12-07 11:26:40
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载