DataWorks依赖关系天任务依赖小时任务时,而非当天所有小时实例?

DataWorks依赖关系天任务依赖小时任务时,如何实现天任务依赖小时任务昨天所有的小时实例。而非当天所有小时实例?

展开
收起
真的很搞笑 2023-09-03 19:19:21 164 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,当天任务依赖昨天所有小时实例时,可以通过以下步骤来实现:

    1. 在 DataWorks 中创建一个小时级任务和一个天级任务。

    2. 将天级任务设置为依赖小时级任务。在天级任务的配置中,找到"调度依赖"选项或类似的设置,并添加小时级任务作为依赖。

    3. 在小时级任务的配置中,将任务周期设置为每小时运行一次,并设置适当的开始时间和结束时间。

    4. 在天级任务的调度配置中,使用表达式设置调度时间。你可以使用日期函数来获取昨天的日期,例如使用date_sub(current_date(), 1)来获取昨天的日期。

    5. 在小时级任务的数据处理逻辑中,根据需要处理昨天的数据。你可以使用日期函数来计算昨天的日期,例如使用date_sub(current_date(), 1)来获取昨天的日期,然后在任务逻辑中使用该日期进行数据处理。

    通过以上配置,天级任务将会依赖昨天所有小时级任务的实例,而不是当天的所有小时级任务实例。这样可确保天级任务在每天运行时,会基于昨天的所有小时级任务实例来执行。

    2023-09-04 13:31:47
    赞同 展开评论
  • 原理说明:天任务依赖小时任务昨天所有小时实例,天任务需要跨周期依赖小时任务。实时场景:当天任务需要依赖小时任务当天所有实例。依赖关系设置:下游天任务配置:跨周期依赖小时任务,即在调度配置,时间属性区域,选择依赖上一周期 > 小时任务节点id。上游小时任务配置:无需配置运维中心依赖关系查看: 下游天实例右键查看父节点会显示依赖小时任务昨天所有小时实例。(依赖线:虚线,天任务设置了跨周期依赖小时任务)
    https://help.aliyun.com/document_detail/146666.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-03 19:35:51
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理