DataWorks百问百答02:如何设置跨周期依赖及自依赖?

本文涉及的产品
DataWorks Serverless资源组免费试用套餐,300CU*H 3个月
简介: 为您介绍DataWorks支持三种跨周期依赖模式(依赖上一周期)。

DataWorks支持三种跨周期依赖模式(依赖上一周期):

  1. 一层子节点:依赖当前节点的下游。例如,节点A存在b、c、d三个下游节点,依赖一层子节点是指节点A依赖   b、c、d三个节点的上一周期。
  2. 本节点:依赖当前节点的上一周期(即自依赖)。
  3. 自定义:手动输入需要依赖的节点id,多个节点间英文逗号分隔,依赖该id节点的上一周期。

注意:不要重复配置依赖,调度配置中配置了“依赖上一周期”后,在“父节点输出”那里,不要重复配置依赖,否则会出现依赖上游“昨天+今天”两天的实例等情况。

image.png

跨周期依赖典型场景

【典型场景一】
“一层子节点”应用场景:对本节点的结果表进行清洗,查看是否正常产出最终结果
【典型场景二】
Q:天任务依赖小时任务,不想等24个小时任务实例跑完才跑天任务,天任务希望尽量按定时时间12:00跑
A:上游小时任务配置“依赖上一周期”选“本节点”;下游天任务定时调度时间选12:00,天任务不需要设置跨周期依赖。这样天任务就会在12点开始跑,且依赖最新跑完的那个小时任务实例的数据(下有图解)
【典型场景三】
Q:天任务依赖小时任务昨天的数据
A:下游天任务配置“依赖上一周期”选“自定义”,填上游小时任务的id
【典型场景四】
Q:小时任务依赖天任务,上游天任务跑完,下游小时任务多个周期定时时间已到,导致小时任务多周期并发调起怎么办
A:下游小时任务配置“依赖上一周期”选“本节点”(下有图解)
【典型场景五】
Q:本节点依赖自己的上一周期产出的数据,不知上一周期何时产出
A:本节点配置“依赖上一周期”选“本节点”

自依赖应用技巧

自依赖是天然的跨周期依赖。

  1. 小时任务依赖天任务(即上述典型场景四)

上游天任务跑完,下游小时任务多个周期定时时间已到希望小时任务多周期并发调起。不配置自依赖的话,12点过后a1和a2实例会并发调起。
image.png

  1. 天任务依赖小时任务(即上述典型场景二)

不想等24个小时任务实例跑完才跑天任务,天任务希望尽量按定时时间12:00跑。配置自依赖后,实例a2跑完,12点一到,实例A就会调起。
image.png

DataWorks百问百答历史记录请点击查看

采购季限时!原价2500元现仅需99元,3分钟入门DataWorks标准版6大场景!点击查看

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
1月前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之怎么配置跨业务流程的调度依赖
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之如何实现跨工作空间的依赖调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之如何设置月调度任务依赖天调度任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
57 2
|
2月前
|
存储 数据采集 DataWorks
DataWorks产品使用合集之如何根据任务依赖自动触发调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之如何确保正确配置调度依赖
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
33 0
|
3月前
|
存储 DataWorks 安全
DataWorks产品使用合集之是否支持批量修改管道的上游依赖
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
3月前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用合集之如果设置了自依赖,第一次自动批量怎么运行
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
存储 分布式计算 DataWorks
DataWorks产品使用合集之在DataWorks中,配置时间属性调度周期如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
78 2
|
4月前
|
缓存 分布式计算 DataWorks
DataWorks产品使用合集之阿里云DataWorks中,天任务依赖小时任务的调度运行如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
139 1
|
4月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之在DataWorks中创建了一个周期任务,但是没有生成周期实例如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
42 0

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks