开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

yarn集群资源是充足的,为什么提交任务失败呢

报这个错[] - Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster

展开
收起
游客bcfx2q4kttgbm 2022-07-05 16:51:37 817 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,这个错误提示的意思是YARN集群资源请求超时,也就是说提交的任务在60秒内没有成功获取到所需的资源。这个问题可能是由以下原因引起的:

    1. YARN集群资源实际上是不足的:尽管阿里云的YARN集群资源充足,但某些时候也会发生资源不足的情况,尤其是在使用大规模集群时。

    2. 任务请求的资源过多:提交的任务所请求的资源可能超过了YARN集群所拥有的资源总量。可以通过减少任务请求的资源来解决这个问题,或者使用更大的YARN集群。

    3. YARN调度器配置不正确:可能是由于YARN调度器配置不正确导致的,可以检查YARN调度器的配置是否正确。

    针对这个问题可以通过以下步骤来解决:

    1. 检查所请求的资源是否合理。

    2. 找出导致资源紧张的任务,并优化其资源使用方式,或者为集群添加更多的资源。

    3. 检查YARN调度器配置,调整配置以确保集群资源最大化使用。

    2023-08-22 17:25:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载