开发者社区> 问答> 正文

运维中心大量生产任务在等待调度资源,日志显示“任务并发数已达上限,正在等待在云端的gateway资源

已解决

运维中心大量生产任务在等待调度资源,日志显示“任务并发数已达上限,正在等待在云端的gateway资源...”,但是找不到在运行中的任务,阻塞业务。

image.png

展开
收起
阿里云服务支持 2022-12-08 17:18:48 486 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    排查:

    1. 确认调度资源组类型

    公共:租户级别下(该租户所有region所有项目下)在非高峰期支持同时运行的任务数有限,参见公共资源组概述

    独享:独享调度资源组计费说明:包年包月

    2.使用智能诊断功能可以直接找到占用资源任务。

    3.“周期实例/补数据实例/手动任务运维”使用该资源组的所有region、所有项目按运行状态“运行中”过滤筛选。

    image.png

    4.排查这些运行中的任务迟迟不释放资源的原因,查看日志。

    ● 如果是离线同步任务,大概率是二级数据集成同步资源槽位不够,任务一直在等待同步资源(detail log日志中长时间打印wait)(大概率原因)。

    ● 如果是odps sql等计算任务,日志打印queue说明任务在等待计算资源,或logview中长尾数据倾斜导致计算慢需联系MaxCompute或对应计算引擎同学。

    解决:

    1. 终止优先级低占用调度资源的任务,让重要的任务先跑。

    2. 公共资源组上的任务迁移独享后补数据跑。

    3. 独享资源组扩容。

    更多信息参见等待资源

    2022-12-08 17:21:35
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载