DataWorks我们有个场景需要确认:周任务依赖周任务,请问下游的周任务会等到周三运行吗?

DataWorks我们有个场景需要确认:周任务依赖周任务,上游周任务是周三运行,下游周任务是周一运行,请问下游的周任务会等到周三运行吗?

展开
收起
真的很搞笑 2023-11-21 09:07:10 77 分享 版权
3 条回答
写回答
取消 提交回答
  • 不会的 由于实例每天至少生成一个 所以是每天一一对应的依赖关系 上游非指定时间的会是空跑 实际读取的数据可以是上周三产出的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-21 21:52:46
    赞同 展开评论
  • 在DataWorks中,任务的依赖关系是通过定义任务间的依赖关系来实现的。如果一个任务依赖于另一个任务的结果,那么它会在那个任务完成后才会开始执行。

    在你的场景中,下游的周任务依赖于上游周任务的结果。如果上游周任务在周三运行,那么下游的周任务会在周三等待上游任务完成,然后才开始运行。所以,下游的周任务并不会在周一就开始运行,而是在周三开始运行。

    如果你想让下游的周任务在周一就开始运行,而不等待上游任务的结果,那么你可以在定义任务间依赖关系时,选择“并行”而不是“依赖”。这样,下游任务就会在设定的时间点开始运行,而不会等待上游任务的结果。

    2023-11-21 15:07:31
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,上游周任务的执行时间和下游周任务的执行时间没有直接关系。一般来说,下游周任务会在满足自身执行条件的情况下立即执行,而不必等待上游周任务完成。
    如果您希望下游周任务在上游周任务完成后才开始运行,可以考虑采用以下两种解决方案:

    1. 延迟运行:将下游周任务的开始时间设置为周四或者更晚的时间,这样可以确保上游周任务在下游周任务开始之前已经完成。
    2. 靠谱模式:在上游周任务中设置靠谱模式,只有当上游周任务成功完成后,下游周任务才会开始运行。在这种情况下,即使下游周任务开始时间早于上游周任务,它也会等待上游周任务完成后再开始执行。
    2023-11-21 13:35:18
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理