依赖关系https://help.aliyun.com/zh/dataworks/support/scheduling-dependencies?spm=a2c4g.11186623.0.i41
什么是调度依赖
调度依赖就是节点间的上下游依赖关系,在DataWorks中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。
说明
挂载依赖关系后,当前节点执行的必要条件之一为当前节点依赖的父节点需要执行成功。更多调度依赖内容,详情请参见调度依赖配置指引。
为什么要设置调度依赖
配置调度依赖后,可保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataWorks通过节点运行的状态识别到上游表的最新数据已产生,此时,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。
在DataWorks中,任务依赖是指一个任务在执行前需要其他任务先执行完毕。这种依赖关系主要是通过设置任务的前置依赖和后置依赖来实现的。
前置依赖:选择其他任务作为当前任务的前置依赖。前置依赖任务完成后,当前任务才会开始执行。
后置依赖:选择其他任务作为当前任务的后置依赖。当前任务完成后,后置依赖任务才会开始执行。
你可以通过单击"+"按钮来添加依赖任务,然后按照需要设置依赖任务的优先级和触发条件。
DataWorks的任务依赖主要体现在周期调度节点间的上下游依赖关系。这种关系保障了任务有序地调度运行,即只有当上游节点成功运行时,下游节点才会启动运行,从而产出有效的业务数据。
在DataWorks中,可以配置依赖上一周期(跨周期依赖)。例如,本节点本次实例运行,会依赖于相应节点上一周期实例的运行情况,只有待上一周期实例运行成功后,本节点才会运行。此外,DataWorks还支持分钟、小时、日、周、月、年等类型的调度任务互相依赖,调度类型不同,任务执行的周期数也会有所不同。
需要注意的是,DataWorks的调度依赖主要保障的是调度节点定时更新的表数据,通过节点调度依赖保障下游取数无误。因此,对于不是DataWorks平台上调度更新的表,平台无法进行监控。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。