DataWorks中如何实现调度任务依赖?

DataWorks中如何实现调度任务依赖?

展开
收起
真的很搞笑 2023-07-13 10:05:51 153 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,你可以通过以下步骤来实现调度任务的依赖关系:

    登录DataWorks控制台。

    进入目标项目:选择你要操作的项目,在项目列表中点击进入。

    进入数据开发模块:在项目首页,点击左侧导航栏的「数据开发」。

    创建任务:在数据开发模块,点击「新建任务」来创建你的调度任务。

    设置任务依赖:在任务配置页面,你可以设置任务的调度时间和依赖关系。在「调度配置」部分,你可以选择任务的调度周期和时间。在「依赖配置」部分,你可以设置任务的前置依赖。点击「添加依赖」按钮,选择前置任务,并设置依赖关系。

    配置依赖规则:在依赖配置中,你可以设置依赖规则,如「所有前置任务完成后触发」或「任一前置任务完成后触发」。根据你的需求选择适当

    2023-07-30 18:10:37
    赞同 展开评论
  • 在DataWorks中,实现调度任务的依赖关系可以通过以下方式进行设置:

    1. 登录到DataWorks控制台,并进入相应的项目。

    2. 在左侧导航栏中选择"运维中心",然后选择"周期任务"。

    3. 在周期任务页面,找到您要设置依赖关系的目标任务,并单击其名称。

    4. 在任务详情页中,单击右上角的"依赖配置"按钮。

    5. 在依赖配置页面,您可以设置任务的前置依赖和后置依赖。

      • 前置依赖:选择其他任务作为当前任务的前置依赖。前置依赖任务完成后,当前任务才会开始执行。
      • 后置依赖:选择其他任务作为当前任务的后置依赖。当前任务完成后,后置依赖任务才会开始执行。

      您可以通过单击"+"按钮来添加依赖任务,然后按照需要设置依赖任务的优先级和触发条件。

    6. 单击"确定"按钮以保存依赖配置。

    2023-07-13 13:11:36
    赞同 展开评论
  • 场景一:日调度任务依赖小时调度任务当天的所有小时实例。天调度任务直接依赖小时调度任务时,会依赖小时调度任务当天所有实例。image.png
    场景二:日调度任务依赖小时调度任务当天具体某个实例。小时调度任务配置:小时调度任务设置自依赖,即小时任务调度配置界面依赖的上一周期处选择本节点。日调度任务配置:天调度任务直接依赖小时任务。即天调度任务的输入(依赖的上游节点)配置小时任务。image.png
    场景三:日调度任务依赖小时调度任务昨天所有的小时实例。日调度任务调度配置跨周期依赖小时调度,即日调度任务调度配置界面选择依赖上一周期,选择自定义,填小时任务节点id。日调度任务调度配置去掉小时任务同周期依赖,即同周期依赖(依赖的上游节点)处,去掉小时任务同周期依赖。说明 如果日调度任务对小时调度任务做过跨周期依赖,那需要检查是否同周期依赖已经去掉。否则日调度任务会同时依赖小时调度任务当天所有实例和昨天所有实例。
    https://help.aliyun.com/document_detail/146666.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-13 11:51:38
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理