资源够跟app master没有关系,yarn限制了app master并行数,你看看这个队列的这个

资源够跟app master没有关系,yarn限制了app master并行数,你看看这个队列的这个配置看看。一般你点进去也会提示队列资源的app master不够image.png

展开
收起
雪哥哥 2022-11-13 20:18:36 386 发布于浙江 分享
分享
版权
举报
阿里云 AI 助理回答

根据您的描述,您遇到的问题是YARN队列中App Master的并行数受到限制。这通常与YARN配置中的特定参数有关,特别是涉及到队列资源分配和应用程序(App)启动相关设置。请按照以下步骤检查和调整队列配置:

  1. 登录E-MapReduce控制台

    • 首先,访问阿里云E-MapReduce控制台,选择对应的地域和资源组。
    • 寻找目标运行中的集群,并点击操作列的“集群服务”。
  2. 进入YARN服务配置

    • 在“集群服务”页面,定位到YARN服务区域,点击“配置”。
  3. 编辑相关队列

    • 点击“编辑资源队列”页签,选择您应用所关联的分区,默认为DEFAULT_PARTITION
    • 查找当前队列的配置,特别关注可能影响App Master启动的参数,比如队列的总容量、最大应用程序并行度等。
  4. 检查关键配置项

    • 最大应用程序并行度:这个参数限制了队列中可以同时运行的应用程序实例的最大数量,间接影响App Master的并行启动能力。如果队列资源充足但App Master启动受限,检查此配置是否过小。
    • 队列容量:确认队列的总容量没有被过度分配,确保有足够的资源空间来启动新的App Master。
    • 用户资源限制:检查用户的最小容量和资源因子设置,这些也可能间接影响到App Master的资源获取能力。
  5. 调整配置

    • 如有必要,根据实际需求调整上述参数。例如,增加最大应用程序并行度以允许更多App Master并行运行。
    • 修改后,记得点击确定,并按照提示生效配置,通常是通过点击“refresh_queues”操作。
  6. 注意事项

    • 调整配置前,请评估对现有作业的影响,避免因资源重新分配导致其他任务受阻。
    • 确保在进行配置修改时,遵循YARN的最佳实践和版本特定的限制条件。

如果问题依然存在,建议查看YARN的日志文件,以获取更详细的错误信息,或者联系阿里云技术支持提供进一步的帮助。

请依据上述指导检查和调整您的YARN队列配置,以解决App Master并行启动受限的问题。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理