DataWorks百问百答61:如何处理“弃之可惜”的任务节点?

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 如何处理“弃之可惜”的任务节点

问题:

当您搭建了一套业务流程,对于其中的某些节点,如果想让它们暂时不参与到工作流的整体运行中该怎么做呢?

开发环境

在DataStudio中,双击目标节点,打开“调度配置”,在“时间属性”中,将该节点的调度方式切换为“空跑调度”。
空跑调度指的是,该节点仍按照调度周期的时间配置进行调度运行,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。值得注意的是,空跑的节点被发布至生产环境仍然会产生实例,因此不会影响下游节点的运行。
dataworks61-4.png

生产环境

进入运维中心,在“周期任务”中的节点列表中选中目标节点,点击列表下方的“暂停(冻结)”;或者在DAG图中,右键进行“暂停(冻结)”。
节点任务设置暂停后,正常生成实例,但当前任务生成的实例及下游依赖实例均不调度。
节点任务设置恢复后,当前任务生成的实例及下游依赖实例正常调度。
dataworks61-3.png

dataworks61-2.png

如果您只想暂停当前运行实例,也可以进入“周期实例”中选择目标节点的实例进行暂停和解冻。
dataworks61-1.png

这里需要对任务暂停和实例暂停进行区分说明:一个节点任务在调度运行时会随着时间的增长产生多个实例,在任务中冻结,是对该任务所有即将产生的实例都冻结,是在未来一段时期内暂停运行;在实例中冻结,是仅暂停当前这个实例,即在当下时间段内暂停运行。

总结

对于“弃之可惜”的节点,推荐您使用第一种方法,即在开发环境中设置好空跑节点,再发布至生产环境进行运维;因为空跑节点只是采取了“跳过”措施,并不会影响下游节点的运行。如果您在运维中心中设置任务或实例的冻结,均会阻碍下游任务的正常执行。请根据您的实际业务情况灵活选择处理方式。


DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
1天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之赋值节点output是有数据的,引用参数运行打印时是空的,该如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
14 4
|
1天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之如何实现即使上游任务执行失败,下游任务也能继续执行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
8 1
|
1天前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之如何创建开发任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
7 1
|
1天前
|
弹性计算 分布式计算 DataWorks
DataWorks产品使用合集之spark任务如何跨空间取表数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
6 1
|
2天前
|
分布式计算 DataWorks API
DataWorks操作报错合集之在将ODPS空间设置成保护模式后,导出到OSS的任务出现了权限问题,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
9 1
|
2天前
|
分布式计算 DataWorks 监控
DataWorks操作报错合集之遇到“OSERROR: argument list too long”的错误,该如何处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
11 1
|
1天前
|
SQL 数据采集 DataWorks
DataWorks产品使用合集之如何创建Holo SQL节点
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
7 0
|
1天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之任务通过了测试但无法执行,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
9 0
|
1天前
|
DataWorks 安全 NoSQL
DataWorks产品使用合集之任务已经执行了几天,但血缘关系仅显示为单一表,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
10 0
|
2天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之遇到实时同步任务中字段错位和类型不匹配,该如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
9 0

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks