DataWorks中A任务(虚拟节点)+ B任务那么我C节点的依赖,可以设置成上一周期,然后选择B?

DataWorks中A任务(虚拟节点)+ B任务(天级作业,但是我只需要他前天的数据即可)==>产出C,那么我C节点的依赖,可以设置成上一周期,然后选择B吗?image.png

展开
收起
真的很搞笑 2023-07-22 15:30:37 98 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中,可以通过设置C节点的依赖方式为"上一周期",然后选择B节点作为依赖,来实现C节点依赖于A任务(虚拟节点)+ B任务的逻辑。

    下面是一般的操作步骤:

    在DataWorks的工作流编辑页面,将A任务(虚拟节点)和B任务连接起来,形成一个任务流。

    在工作流中找到C节点,右键点击节点,选择"属性"。

    在属性设置对话框中,找到"依赖"选项。

    在依赖设置中,选择"上一周期"作为依赖方式。

    在"上一周期"的依赖列表中,选择B任务作为依赖节点。

    确认设置,保存工作流。

    通过以上设置,C节点将会在每个周期依赖上一个周期的B任务的执行结果。这样,当A任务(虚拟节点)和B任务都完成后,C节点会在下一个周期开始时开始执行。

    2023-07-30 17:26:37
    赞同 展开评论
  • 在DataWorks中,如果你想要设置C节点的依赖为上一周期的B任务节点,可以按照以下步骤进行操作:

    1. 创建A任务节点和B任务节点:首先,在数据开发页面创建A任务节点(虚拟节点)和B任务节点(天级作业)。确保这两个节点已经配置和调度正常。

    2. 创建C任务节点:在数据开发页面创建C任务节点,并在节点配置中设置合适的任务类型(例如SQL节点)。确保C任务节点的输出结果可以作为最终的产出数据。

    3. 设置C节点的依赖:在C任务节点的依赖设置中,选择上一周期选项,并从下拉列表中选择B任务节点。这样,C任务节点将会在每个周期开始时,依赖上一周期的B任务节点的输出数据。

    需要注意的是,上一周期的定义方式有两种:

    • 系统周期:系统根据任务类型自动识别周期(如天、周、月等),并进行相应的调度。
    • 自定义周期:你可以自定义一个具体的时间范围作为周期,例如前一天的日期范围。

    根据你的描述,你希望C节点依赖的是B任务节点前一天的数据,因此你可以选择自定义周期,并设置合适的时间范围来匹配前一天的数据。

    2023-07-23 13:03:03
    赞同 展开评论
  • B当天实际产出的是0717的数据还是0718的数据,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:34:33
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理