开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks依赖关系天任务依赖小时任务时,如何实现天任务依赖小时任务当天具体某个实例?

DataWorks依赖关系天任务依赖小时任务时,如何实现天任务依赖小时任务当天具体某个实例,而非依赖所有的小时实例?

展开
收起
真的很搞笑 2023-11-07 17:46:11 37 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    可以采用两个步骤解决这个问题:首先设置一个天级任务,然后在其配置中设置对所需的具体小时实例的调度依赖性。
    以下是详细步骤:

    1. 在创建天级任务时,可以选择现有的小时实例作为源实例,并为其设置调度参数,让天级任务仅依赖特定的小时实例。
    2. 同样,可以在小时实例中设置参数以指定其相关联的天任务。您可以指定多个小时实例关联同一天任务,并为每个小时实例单独设置参数。
    2023-11-08 14:25:45
    赞同 展开评论 打赏
  • 如果天任务依赖于小时任务的具体实例,可以在 DataWorks 中实现:

    1. 在小时任务中,可以设置一个标签,例如 'date=' + date()。
    2. 在天任务中,将 'date=' + date() 设置为一个中间表,然后将此中间表作为下游任务的触发器,例如 @dependency 或动态 SQL。
    2023-11-07 22:26:54
    赞同 展开评论 打赏
  • 原理说明:当天任务依赖小时任务当天具体某个小时实例时,小时任务只需要设置自依赖,天任务定时时间与具体某个小时实例定时时间保持一致即可。实时场景:当天任务需要依赖小时任务当天定时时间12点的实例时依赖关系设置:上游小时任务配置:小时任务需要设置自依赖,即在调度配置,在时间属性区域,选中依赖上一周期 > 本节点。下游天任务配置:天任务设置定时时间为12点。运维中心依赖关系查看:天实例右键查看父节点会显示依赖小时任务当天定时时间为12:00的实例。(依赖线:实线)小时实例右键查看父节点会显示上游父节点为上一个小时实例,定时时间12:00的实例依赖定时时间11:00的实例(依赖线:虚线,小时任务设置了跨周期依赖,依赖项:本节点)
    https://help.aliyun.com/document_detail/146666.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 22:23:56
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多