DataWorks V2.0中如何新增“调度资源”-阿里云开发者社区

开发者社区> 大数据> 正文

DataWorks V2.0中如何新增“调度资源”

简介: 调度资源是在DataWorks 中经常提到的一个词,那么调度资源不足的情况下,我们应该如何处理呢?

每一个账号在DataWorks上都会分配到一批调度资源,但由于DataWorks产品本身还在公测中,没法做到无限制的对大家开放调度资源,那么调度资源不足的话,可以尝试如下方法。

将任务错开时间段运行

在进行数据开发时,经常会遇到离线调度,凌晨的1-3点也是离线任务的运行高峰,那么在任务运行的高峰期,DataWorks上的调度资源也是很紧张的,大家如果不想出现任务堆积、等待的情况,可以将不重要的任务的起调时间设置的晚一点,让任务的运行时间错开集群任务运行的高峰期。

如何精准判断调度资源情况

任务并发执行数已达上限,正在等待在云端的gateway资源

在DataWorks 中运行的任务如果遇到了任务并发执行数已达上限,正在等待在云端的gateway资源... 等报错信息,可以带上项目名,项目所属region,节点id等信息,工单反馈给我们。

同步任务一直在wait....

若同步任务一直在wait,那么需要看看任务运行的所在资源组(具体的识别方法,可参考下一节内容),是在自定义资源组上还是在默认资源组上,若在默认资源组上的话,可能是同步任务的运行资源不足导致的,这时候可以在数据集成界面,新增资源组。新增资源组的操作可参考《新增调度资源》文档。
image
新增完资源组后,可以选择将任务运行在自定义资源组上。
image

注:DMU的配置,一般不要超过5,可根据任务需要传输的数据量大小,将DMU设置为1-5之间即可。

如何识别同步任务运行所属的资源组

同步任务运行所在的资源组需要通过任务运行的日志进行识别,大家可以参考这篇文档《同步任务日志排查》中,任务是从哪里开始的 部分。

job queueing

若SQL任务中运行时,出现了job queueing的日志,可带上日志中的logview,工单反馈。job queueing一般是MaxCompute的计算资源不足导致的,通常情况下,可以去购买CU资源,来保障任务的运行资源。

期望这篇文章能让您了解如何有效的解决资源不足的情况,我是彭敏,更多与DataWorks有关的内容,可以加入我们的钉钉群:DataWorks数加交流0群(群号:11718465)。
也可以钉钉扫码加群:
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章