DataWorks为什么每次申请资源这么久呢,真正运行时长就几秒钟,等资源都要等几分钟?
就单独的执行一条简单的SQL,有的时候稍微快一点,有的时候等很久,但是一般都要等个半分钟以上
问题现象
调度将任务下发到对应执行引擎上,此过程可能会出现以下等待资源问题:
等待调度资源组。
数据集成任务等待数据集成资源。
计算任务等待引擎计算资源。
产生原因
资源组下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行,关于任务下发机制,详情请参见:DataWorks资源组概述。
解决措施
您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断。
DataWorks申请资源时间较长的原因可能有以下几点:
是整个业务流程级别运行么 任务是否比较多呢 ,如果单个节点内部执行是否还会出现这个情况哈,可以先前往运维中心大屏看下公共资源组的水位情况 如果水位低 还是等待久的话 可能是整个资源池资源比较紧张 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks申请资源等待时间过长的问题,可能有多种原因。首先,任务等待资源的时间长短通常受到系统资源利用率的影响。如果系统中的计算资源利用率较高,可能会导致任务等待资源的时间变长,这通常是因为系统中的资源被其他任务或者进程占用,导致任务无法及时获得所需的计算资源。其次,可能存在gateway节点负载过高或者机器在数据库的状态-1,或者机器离线的情况。
对于这种情况,你可以尝试以下方法来解决:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。