DataWorks我们有个场景需要确认:周任务依赖周任务,上游周任务是周三运行,下游周任务是周一运行,请问下游的周任务会等到周三运行吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
不会的 由于实例每天至少生成一个 所以是每天一一对应的依赖关系 上游非指定时间的会是空跑 实际读取的数据可以是上周三产出的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,任务的依赖关系是通过定义任务间的依赖关系来实现的。如果一个任务依赖于另一个任务的结果,那么它会在那个任务完成后才会开始执行。
在你的场景中,下游的周任务依赖于上游周任务的结果。如果上游周任务在周三运行,那么下游的周任务会在周三等待上游任务完成,然后才开始运行。所以,下游的周任务并不会在周一就开始运行,而是在周三开始运行。
如果你想让下游的周任务在周一就开始运行,而不等待上游任务的结果,那么你可以在定义任务间依赖关系时,选择“并行”而不是“依赖”。这样,下游任务就会在设定的时间点开始运行,而不会等待上游任务的结果。
在DataWorks中,上游周任务的执行时间和下游周任务的执行时间没有直接关系。一般来说,下游周任务会在满足自身执行条件的情况下立即执行,而不必等待上游周任务完成。
如果您希望下游周任务在上游周任务完成后才开始运行,可以考虑采用以下两种解决方案:
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。