开发者社区> 问答> 正文

在YARN群集中提交作业之前,Flink TaskManagers不会启动

我正在使用Amazon EMR在YARN上运行Flink Cluster。我的设置包含1个主节点和2个核心节点的m4.large实例。我已经使用以下命令在YARN上启动了Flink CLuster : flink-yarn-session -n 2 -d -tm 4096 -s 4.

Flink作业管理器和应用程序管理器启动但没有任务管理器在运行。Flink Web界面显示0可用于任务管理器,任务槽和可用插槽。但是,当我向flink群集提交作业时,会分配任务管理器并运行作业,Web UI会按预期显示正确的值,并在作业完成后返回0。

我希望任务管理器即使在没有提交作业时也能运行,因为我想使用Flink的REST API来监视和修改基于可用插槽值的并行性。

是否有我错过的配置阻止任务管理器一直运行?

展开
收起
flink小助手 2018-12-10 11:22:00 2891 0
1 条回答
写回答
取消 提交回答
  • flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。

    在FLIP-6中改变了Flink的行为以允许动态资源分配。从Flink版本1.5.0开始,可以mode: legacy使用flink-conf.yaml在旧模式下运行Flink,其中任务管理器将与作业管理器一起启动。

    2019-07-17 23:19:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载