开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中我的节点任务依赖上游虚拟节点 然后虚拟节点又依赖根节点 我的任务是假设每天固?

问题1:DataWorks中我的节点任务依赖上游虚拟节点 然后虚拟节点又依赖根节点 我的任务是假设每天固定九点跑 我设置虚拟的还是根节点?
问题2:我知道 我问的是假设我的任务设置的九点 但是又依赖上游节点 这不矛盾了?

展开
收起
cuicuicuic 2023-07-25 19:55:13 43 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 DataWorks 中,如果您的节点任务依赖上游虚拟节点,而上游虚拟节点又依赖根节点,您可以通过设置调度属性来实现任务每天固定执行的需求。

    具体来说,您可以在节点任务的调度属性中设置任务的调度时间和周期。例如,如果您想要每天固定执行任务,可以设置调度时间为每天固定的时间,例如凌晨 3 点,设置调度周期为每天。这样,任务就会在每天的固定时间执行,并按照设置的周期重复执行。

    需要注意的是,任务的调度属性是基于节点任务的,因此每个节点任务都需要设置相应的调度属性。如果您的任务依赖上游虚拟节点和根节点,需要确保这些节点的调度属性和任务节点的调度属性相匹配,以保证任务的正常执行。

    2023-07-30 16:08:11
    赞同 展开评论 打赏
  • 根据你的描述,你的任务节点依赖于上游虚拟节点,并且虚拟节点又依赖于根节点。如果你的任务是每天都要执行的,可以按照以下步骤来配置任务节点的调度时间:

    1. 打开DataWorks控制台,并进入目标项目。

    2. 导航到相关的数据开发页面,找到你的任务节点。

    3. 右键单击任务节点,并选择“调度配置”(或类似名称)选项。

    4. 在调度配置中,将调度类型设置为“周期调度”。

    5. 设置调度参数为每天执行一次,选择固定的执行时间。例如,你可以将调度时间设置为每天凌晨的特定时间点,比如00:00。

    6. 确保虚拟节点和根节点的调度时间与任务节点相匹配。也就是说,虚拟节点和根节点的调度时间也应该设置为每天的固定时间。

    2023-07-26 20:39:56
    赞同 展开评论 打赏
  • 回答1:九点跑是节点自己的调度配置 不需要通过上游来控制image.png
    回答2:不冲突 同时满足三个个条件下游才会执行
    1)上游全部执行成功
    2)下游定时时间到
    3)下游获取到调度资源组,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-25 20:00:53
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多