开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks父节点每天一次调度,当前节点一小时一次,会出现同时运行的情况么?

DataWorks父节点每天一次调度,当前节点一小时一次,会出现同时运行的情况么?

展开
收起
cuicuicuic 2023-12-03 16:58:22 25 0
3 条回答
写回答
取消 提交回答
  • 执行资源对任务执行时间的影响

    当前节点的执行,除了取决于上游父节点的定时时间及运行是否成功外,还与当前节点本身执行所用的资源组有关。任务执行时间点是否存在充足的资源也将影响任务的执行,详情请参见任务执行机制。https://help.aliyun.com/zh/dataworks/user-guide/perform-basic-maintenance-operations-on-auto-triggered-nodes#section-ypo-r8f-fep

    2023-12-05 12:10:03
    赞同 展开评论 打赏
  • 在DataWorks中,同一个工作流的作业会按照优先级顺序执行。如果一个作业的优先级高于另一个作业,那么高优先级的作业将会先被执行。

    在你的情况下,如果父节点的调度优先级高于子节点,那么父节点的作业将会先被执行。如果父节点的作业在执行过程中出现错误,那么子节点的作业将会在错误处理完成后开始执行。

    因此,如果你的父节点和子节点在同一时间触发调度,那么可能会出现同时运行的情况。为了避免这种情况,你可以考虑调整作业的优先级,或者使用依赖关系来控制作业的执行顺序。

    2023-12-05 09:23:56
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,任务的调度是基于节点的,而不是任务本身。对于您的情况,父节点每天运行一次,子节点每小时运行一次,这就意味着在同一天内,子节点可能会多次运行。具体的运行次数取决于父节点和子节点的调度时间。例如,如果父节点在上午10点运行,而子节点每小时运行一次,那么子节点可能会在上午10点、11点、12点等多个时刻运行。

    此外,需要注意的是,一个节点能否按照预定的时间调度并运行,依赖于上一个节点是否成功完成调度。例如,如果子节点依赖于父节点的输出结果,那么只有当父节点成功运行并将结果传递给子节点后,子节点才能开始运行。

    因此,尽管父子节点的调度周期不同,但它们可以在同一天内并行运行。但是,为了避免任务运行冲突和数据不一致的问题,建议仔细规划和管理任务的依赖关系和调度策略。

    2023-12-03 18:24:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多