开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks为什么每次申请资源这么久呢,真正运行时长就几秒钟,等资源都要等几分钟?

DataWorks为什么每次申请资源这么久呢,真正运行时长就几秒钟,等资源都要等几分钟?image.png
就单独的执行一条简单的SQL,有的时候稍微快一点,有的时候等很久,但是一般都要等个半分钟以上

展开
收起
真的很搞笑 2023-12-03 17:22:34 49 0
4 条回答
写回答
取消 提交回答
  • 为什么会出现等待资源?https://help.aliyun.com/zh/dataworks/support/nodes-that-are-waiting-for-resources?spm=a2c4g.11186623.0.i110

    问题现象
    调度将任务下发到对应执行引擎上,此过程可能会出现以下等待资源问题:
    等待调度资源组。
    数据集成任务等待数据集成资源。
    计算任务等待引擎计算资源。
    产生原因
    资源组下可用资源是有限的,如果有任务长时间执行未释放资源必定会阻塞其他任务执行,关于任务下发机制,详情请参见:DataWorks资源组概述。

    解决措施
    您可进入运维中心 > 智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见智能诊断。

    2023-12-05 13:49:04
    赞同 展开评论 打赏
  • DataWorks申请资源时间较长的原因可能有以下几点:

    1. 资源竞争和瓶颈:如果环境中同时存在大量的任务和作业,可能会导致资源竞争和瓶颈。这可能会导致任务等待资源的时间变长。
    2. 资源限制:DataWorks对计算资源进行了限制,包括实例数量、内存、CPU等。如果你的任务需要大量的资源,并且当前可用资源不足以满足需求,那么任务就会等待更多的资源释放。
    3. 并发调度冲突:如果存在其他并发调度任务与你的任务冲突,系统可能会根据调度策略和优先级来处理任务。这可能会导致一些任务等待较长时间才能获得资源。
    4. 系统维护或故障:有时,DataWorks平台可能因为系统维护、升级或故障而导致调度任务等待资源时间延长。
    5. 长时间执行未释放资源:当任务长时间执行未释放资源时,会阻塞其他任务的执行。
    6. 离线任务等待资源:当离线任务调度资源组执行任务数到达上限,则需要等待资源组上执行的任务执行结束,释放资源。
    2023-12-04 17:42:22
    赞同 展开评论 打赏
  • 是整个业务流程级别运行么 任务是否比较多呢 ,如果单个节点内部执行是否还会出现这个情况哈,可以先前往运维中心大屏看下公共资源组的水位情况 如果水位低 还是等待久的话 可能是整个资源池资源比较紧张 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-03 23:38:26
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks申请资源等待时间过长的问题,可能有多种原因。首先,任务等待资源的时间长短通常受到系统资源利用率的影响。如果系统中的计算资源利用率较高,可能会导致任务等待资源的时间变长,这通常是因为系统中的资源被其他任务或者进程占用,导致任务无法及时获得所需的计算资源。其次,可能存在gateway节点负载过高或者机器在数据库的状态-1,或者机器离线的情况。

    对于这种情况,你可以尝试以下方法来解决:

    1. 检查系统的资源使用情况,如果系统资源利用率较高,可以尝试调整任务的运行时间,避免高峰时段的使用。
    2. 查看是否有gateway节点负载过高或者机器在数据库的状态-1,或者机器离线的情况,如果有,需要及时处理。
    3. 进入日志中,如果卡在调度资源,可以看正在运行的任务/正在等待的任务,看一下是否是在排队;如果看在任务执行,看是否处于wait状态,如果是,则是中途资源紧张了;如果一直在推送,速度也正常,说明量级大,你可以考虑打开分布式模式。
    2023-12-03 17:55:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多