DataWorks这边今天调度资源组突然爆了,使用率一直在100%,然后任务都在排队中。然后我们停了一个并发度为6的集成任务,这个任务运行中,但是状态一直为0%,停掉以后其他任务正常跑了,我们再重新运行停掉的任务,也正常运行了,这个原因是什么能知道吗?
根据您提供的信息,可能的原因是集成任务的并发度设置过高,导致资源组无法满足任务的需求。当一个任务在运行中时,它会占用一定的调度资源,如果其他任务也在运行,它们会共享这些资源。因此,当您停掉一个并发度为6的集成任务后,其他任务可以正常运行,因为它们不再受到该任务的干扰。
至于为什么集成任务占用调度资源的资源,而不是走集成资源组,这可能是因为您的配置有误或者系统出现了问题。建议您检查任务的配置和资源组的设置,确保它们正确匹配。如果问题仍然存在,建议您联系阿里云技术支持寻求帮助。
"是想了解并发为6的任务为什么一直进展为0吗,还是想了解这个任务为什么打满了独享调度资源组?
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”"
在DataWorks中,当资源组的使用率达到100%并且任务都在排队中时,通常表明资源组的资源不足以满足当前的任务需求。这可能是因为资源组的配置不足以处理当前的工作负载,或者是因为某些任务占用了过多的资源。
关于您提到的集成任务状态一直为0%的问题,如果停掉该任务后其他任务可以正常运行,而在重新启动该任务时也能正常运行,那么可能的原因是该任务在等待资源时一直处于阻塞状态。由于资源组的使用率已达到100%,该任务可能无法获得所需的资源来执行,从而导致其状态一直为0%。
关于集成任务为什么占用调度资源的资源的问题,通常情况下,集成任务应该使用集成资源组而不是调度资源。然而,在某些情况下,如果集成任务没有正确配置或使用了不当的资源组,它可能会占用调度资源的资源。这可能是因为任务配置错误、资源组分配不当或系统配置问题导致的。
为了解决这个问题,您可以考虑以下几个步骤:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。