dataworks依赖上一周期的结果时,如何配置调度依赖跨周期依赖的典型场景?

dataworks依赖上一周期的结果时,如何配置调度依赖跨周期依赖的典型场景?

展开
收起
爱喝咖啡嘿 2022-12-26 16:54:10 224 分享 版权
1 条回答
写回答
取消 提交回答
  • 实时场景一:场景描述:天任务依赖小时任务,但不想等24个小时任务实例运行结束才运行天任务,希望天任务能够在定时时间12:00时运行。解决方案:上游小时任务配置为依赖上一周期 > 本节点,设置下游天任务的定时调度时间为12:00,且天任务无需设置跨周期依赖。 待上游小时任务定时时间12点的实例运行成功后,下游天任务便会运行。实时场景二:实时场景:天任务依赖小时任务昨天的数据。解决方案:下游天任务配置为依赖上一周期 > 自定义,输入上游小时任务的ID。实时场景三:实时场景:小时任务依赖天任务,当上游天任务运行结束,下游小时任务多个周期定时时间已到,导致小时任务多周期并发调起,该如何处理?解决方案:下游小时任务配置为依赖上一周期 > 本节点。实时场景四:实时场景:本节点依赖自己上一周期产出的数据,如何确认上一周期产出的时间?解决方案:本节点配置为依赖上一周期 > 本节点。 https://help.aliyun.com/document_detail/137551.html——此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-27 17:09:42
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理