我正在使用Amazon EMR在YARN上运行Flink Cluster。我的设置包含1个主节点和2个核心节点的m4.large实例。我已经使用以下命令在YARN上启动了Flink CLuster : flink-yarn-session -n 2 -d -tm 4096 -s 4.
Flink作业管理器和应用程序管理器启动但没有任务管理器在运行。Flink Web界面显示0可用于任务管理器,任务槽和可用插槽。但是,当我向flink群集提交作业时,会分配任务管理器并运行作业,Web UI会按预期显示正确的值,并在作业完成后返回0。
我希望任务管理器即使在没有提交作业时也能运行,因为我想使用Flink的REST API来监视和修改基于可用插槽值的并行性。
是否有我错过的配置阻止任务管理器一直运行?
在FLIP-6中改变了Flink的行为以允许动态资源分配。从Flink版本1.5.0开始,可以mode: legacy使用flink-conf.yaml在旧模式下运行Flink,其中任务管理器将与作业管理器一起启动。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。