开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

用这两个flink run的参数提交任务到集群上,为什么在管理页面显示container数量不一样?

我用这两个flink run的参数提交同一个任务到yarn集群上,在yarn的管理页面显示启动的container数量不一样。为什么?实际应该用那个呢?bin/flink run -t yarn-per-job -ys 2 -yjm 1G -ytm 4G -p 5 -sae
bin/flink run -t yarn-per-job -p 5 -sae -Djobmanager.memory.process.size=1024mb -Dtaskmanager.memory.process.size=4096mb -Dtaskmanager.numberOfTaskSlots=2

展开
收起
三分钟热度的鱼 2024-01-24 16:24:53 22 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,在使用Flink提交任务到YARN集群上时,容器数量的不一致可能是参数配置不一致造成的,你提供的两个flink run命令中,有一些参数是不同的,比如-ys-yjm参数,这些参数会影响任务运行时的资源分配和容器数量,所以请确保两次提交任务时的参数配置一致,才能得到一致的容器数量。

    还有就是任务图的拓扑结构,Flink任务图的拓扑结构可能会导致不同的容器需求,如果任务的操作符数量或节点之间的依赖关系不同,那么为了满足任务的需求,启动的容器数量可能会不一致。

    2024-01-26 09:34:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载