DataWorks依赖关系日调度任务依赖小时调度任务运行的不同场景,依赖关系如何配置?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,可以通过配置依赖关系来实现小时调度任务和日调度任务之间的不同场景。以下是一些常见的配置方式:
日调度任务等待小时调度任务完成: 如果日调度任务需要等待小时调度任务完成后才能开始执行,可以将日调度任务设置为依赖于小时调度任务。在日调度任务的配置中,指定小时调度任务作为其前置任务,并选择适当的依赖规则(如等待所有前置任务完成)。
小时调度任务触发日调度任务: 如果小时调度任务完成后需要触发日调度任务执行,可以将日调度任务配置为依赖于小时调度任务。在日调度任务的配置中,指定小时调度任务作为其前置任务,并选择触发方式(如成功触发)。
并行运行: 如果小时调度任务和日调度任务可以并行运行,即它们之间没有严格的依赖关系,可以将它们配置为独立的任务,并相应地进行调度设置。
要配置任务之间的依赖关系,在DataWorks中进行如下操作:
进入工作空间:登录到DataWorks控制台,选择对应的工作空间。
创建任务:创建小时调度任务和日调度任务,确保它们都位于同一工作空间中。
配置依赖关系:在任务的调度配置中,找到"前置任务"或"依赖关系"选项,并指定相关的前置任务。根据需要选择适当的依赖规则。
调度设置:根据实际需求,为任务设置适当的调度周期和参数。
场景一:日调度任务依赖小时调度任务当天的所有小时实例。天调度任务直接依赖小时调度任务时,会依赖小时调度任务当天所有实例。
场景二:日调度任务依赖小时调度任务当天具体某个实例。小时调度任务配置:小时调度任务设置自依赖,即小时任务调度配置界面依赖的上一周期处选择本节点。日调度任务配置:天调度任务直接依赖小时任务。即天调度任务的输入(依赖的上游节点)配置小时任务。
场景三:日调度任务依赖小时调度任务昨天所有的小时实例。日调度任务调度配置跨周期依赖小时调度,即日调度任务调度配置界面选择依赖上一周期,选择自定义,填小时任务节点id。日调度任务调度配置去掉小时任务同周期依赖,即同周期依赖(依赖的上游节点)处,去掉小时任务同周期依赖。说明 如果日调度任务对小时调度任务做过跨周期依赖,那需要检查是否同周期依赖已经去掉。否则日调度任务会同时依赖小时调度任务当天所有实例和昨天所有实例。
https://help.aliyun.com/document_detail/146666.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。