DataWorks V2.0中如何新增“调度资源”

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 调度资源是在DataWorks 中经常提到的一个词,那么调度资源不足的情况下,我们应该如何处理呢?

每一个账号在DataWorks上都会分配到一批调度资源,但由于DataWorks产品本身还在公测中,没法做到无限制的对大家开放调度资源,那么调度资源不足的话,可以尝试如下方法。

将任务错开时间段运行

在进行数据开发时,经常会遇到离线调度,凌晨的1-3点也是离线任务的运行高峰,那么在任务运行的高峰期,DataWorks上的调度资源也是很紧张的,大家如果不想出现任务堆积、等待的情况,可以将不重要的任务的起调时间设置的晚一点,让任务的运行时间错开集群任务运行的高峰期。

如何精准判断调度资源情况

任务并发执行数已达上限,正在等待在云端的gateway资源

在DataWorks 中运行的任务如果遇到了任务并发执行数已达上限,正在等待在云端的gateway资源... 等报错信息,可以带上项目名,项目所属region,节点id等信息,工单反馈给我们。

同步任务一直在wait....

若同步任务一直在wait,那么需要看看任务运行的所在资源组(具体的识别方法,可参考下一节内容),是在自定义资源组上还是在默认资源组上,若在默认资源组上的话,可能是同步任务的运行资源不足导致的,这时候可以在数据集成界面,新增资源组。新增资源组的操作可参考《新增调度资源》文档。
image
新增完资源组后,可以选择将任务运行在自定义资源组上。
image

注:DMU的配置,一般不要超过5,可根据任务需要传输的数据量大小,将DMU设置为1-5之间即可。

如何识别同步任务运行所属的资源组

同步任务运行所在的资源组需要通过任务运行的日志进行识别,大家可以参考这篇文档《同步任务日志排查》中,任务是从哪里开始的 部分。

job queueing

若SQL任务中运行时,出现了job queueing的日志,可带上日志中的logview,工单反馈。job queueing一般是MaxCompute的计算资源不足导致的,通常情况下,可以去购买CU资源,来保障任务的运行资源。

期望这篇文章能让您了解如何有效的解决资源不足的情况,我是彭敏,更多与DataWorks有关的内容,可以加入我们的钉钉群:DataWorks数加交流0群(群号:11718465)。
也可以钉钉扫码加群:
image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
24天前
|
DataWorks 机器人 调度
DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
【2月更文挑战第34天】DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
12 1
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之dataworks数据同步时无法显示独享资源组如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
DataWorks 安全 关系型数据库
DataWorks常见问题之使用公共数据集成资源组进行同步失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
分布式计算 DataWorks 定位技术
DataWorks常见问题之资源组选择失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
分布式计算 DataWorks 数据建模
DataWorks常见问题之如何批量修改集成资源组
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
29 1
|
3月前
|
DataWorks 大数据 API
DataWorks RunTriggerNode接口是只能调度 http触发器节点吗?
DataWorks RunTriggerNode接口是只能调度 http触发器节点吗?
137 1
|
4月前
|
存储 分布式计算 DataWorks
DataWorks中jar资源上传失败的问题帮忙排查有消息了吗?
DataWorks中jar资源上传失败的问题帮忙排查有消息了吗?
38 1
|
4月前
|
存储 DataWorks 数据挖掘
Dataworks 独享资源 独享调度资源、独享数据集成资源、独享数据服务资源 的区别 ?
Dataworks 独享资源 独享调度资源、独享数据集成资源、独享数据服务资源 的区别 ?
34 1
|
24天前
|
消息中间件 DataWorks 关系型数据库
DataWorks的独享资源数据集成
DataWorks的独享资源数据集成
12 1

热门文章

最新文章