开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink on yarn application mode 有人遇到过吗,flink只能提交一个任

flink on yarn application mode 有人遇到过吗,flink只能提交一个任务,yarn的队列资源还是有的。

8e6037f44b577ff7cddad36c25d496fb.png

展开
收起
十一0204 2023-04-11 09:20:03 360 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    是的,阿里云Flink on YARN application mode 可以同时提交多个任务,如果您只能提交一个任务,可能是由于资源配额或其他配置问题导致的。

    以下是一些可能导致只能提交一个任务的原因和解决方法:

    1. YARN 资源配额不足:如果您的 YARN 集群资源配额不足,可能会导致只能提交一个任务。您可以检查 YARN 队列的资源配额,确保有足够的资源分配给 Flink 作业提交。

    2. Flink 配置问题:如果您的 Flink 配置不正确,可能会导致只能提交一个任务。您可以检查 Flink 配置文件中的 taskmanager.numberOfTaskSlots 参数,确保设置为较高的值,以便同时执行多个任务。

    3. Flink on YARN 配置问题:如果您的 Flink on YARN 配置不正确,可能会导致只能提交一个任务。您可以检查 Flink on YARN 的配置文件,确保 yarn.containers.vcoresyarn.containers.memory 参数设置正确,以便同时执行多个任务。

    2023-04-26 22:31:28
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    是的,有人遇到过这个问题。Flink on YARN application mode通常在YARN上启动Flink集群,并允许用户提交Flink作业。在您的情况下,您可能只能提交一个Flink作业,并且在其余时间内,YARN的队列资源是空闲的。

    要解决这个问题,您可以尝试以下几种方法:

    您可以使用Flink的Session模式,该模式可以从命令行启动Flink集群,并允许您在集群中提交多个作业,而不需要每次都重新启动Flink集群。

    您还可以通过调整yarn-site.xml配置文件来增加YARN应用程序的最大内存和CPU资源。例如,您可以增加yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb参数以增加YARN队列中可用的内存资源。

    您可以考虑使用YARN的Fair调度程序,它可以确保所有作业都能平等地共享YARN队列中的资源。

    请注意,您需要仔细考虑这些选项的影响,并仅在了解其工作原理后进行更改。

    2023-04-17 17:10:00
    赞同 展开评论 打赏
  • 意中人就是我呀!

    accept状态,可能还在上传依赖包吧 这个阶段有时候会比较慢。 64ceadba58900c4e8af9110b7172df1c.png 此答案整理自钉群“【③群】Apache Flink China社区”

    2023-04-12 08:49:08
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载