开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这边今天调度资源组突然爆了,使用率一直在100%,这个原因是什么能知道吗?

DataWorks这边今天调度资源组突然爆了,使用率一直在100%,然后任务都在排队中。然后我们停了一个并发度为6的集成任务,这个任务运行中,但是状态一直为0%,停掉以后其他任务正常跑了,我们再重新运行停掉的任务,也正常运行了,这个原因是什么能知道吗?

展开
收起
cuicuicuic 2024-02-24 12:17:55 35 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据您提供的信息,可能的原因是集成任务的并发度设置过高,导致资源组无法满足任务的需求。当一个任务在运行中时,它会占用一定的调度资源,如果其他任务也在运行,它们会共享这些资源。因此,当您停掉一个并发度为6的集成任务后,其他任务可以正常运行,因为它们不再受到该任务的干扰。

    至于为什么集成任务占用调度资源的资源,而不是走集成资源组,这可能是因为您的配置有误或者系统出现了问题。建议您检查任务的配置和资源组的设置,确保它们正确匹配。如果问题仍然存在,建议您联系阿里云技术支持寻求帮助。

    2024-02-24 16:41:02
    赞同 展开评论 打赏
  • "是想了解并发为6的任务为什么一直进展为0吗,还是想了解这个任务为什么打满了独享调度资源组?
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”"

    2024-02-24 16:15:47
    赞同 展开评论 打赏
  • 在DataWorks中,当资源组的使用率达到100%并且任务都在排队中时,通常表明资源组的资源不足以满足当前的任务需求。这可能是因为资源组的配置不足以处理当前的工作负载,或者是因为某些任务占用了过多的资源。

    关于您提到的集成任务状态一直为0%的问题,如果停掉该任务后其他任务可以正常运行,而在重新启动该任务时也能正常运行,那么可能的原因是该任务在等待资源时一直处于阻塞状态。由于资源组的使用率已达到100%,该任务可能无法获得所需的资源来执行,从而导致其状态一直为0%。

    关于集成任务为什么占用调度资源的资源的问题,通常情况下,集成任务应该使用集成资源组而不是调度资源。然而,在某些情况下,如果集成任务没有正确配置或使用了不当的资源组,它可能会占用调度资源的资源。这可能是因为任务配置错误、资源组分配不当或系统配置问题导致的。

    为了解决这个问题,您可以考虑以下几个步骤:

    1. 检查资源组的配置:确保资源组的配置足够满足当前的工作负载需求。您可以考虑增加资源组的资源配额,以便任务能够得到足够的处理能力。
    2. 检查任务的配置:确保集成任务正确配置了所需的资源组。如果任务配置错误,它可能会占用错误的资源组,导致资源冲突和性能问题。
    3. 优化任务执行:如果某些任务占用了过多的资源,您可以考虑优化这些任务的执行方式,以减少资源消耗。例如,减少数据处理的复杂度、降低并发度或优化查询语句等。
    4. 联系技术支持:如果问题仍然存在,您可能需要联系DataWorks的技术支持团队,以获取更专业的帮助和解决方案。
    2024-02-24 13:47:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多