开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks任务依赖是什么?

DataWorks任务依赖是什么?

展开
收起
真的很搞笑 2023-12-03 17:27:13 82 0
3 条回答
写回答
取消 提交回答
  • 依赖关系https://help.aliyun.com/zh/dataworks/support/scheduling-dependencies?spm=a2c4g.11186623.0.i41

    什么是调度依赖
    调度依赖就是节点间的上下游依赖关系,在DataWorks中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。

    说明
    挂载依赖关系后,当前节点执行的必要条件之一为当前节点依赖的父节点需要执行成功。更多调度依赖内容,详情请参见调度依赖配置指引。

    为什么要设置调度依赖
    配置调度依赖后,可保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataWorks通过节点运行的状态识别到上游表的最新数据已产生,此时,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。

    2023-12-05 13:39:12
    赞同 1 展开评论 打赏
  • 在DataWorks中,任务依赖是指一个任务在执行前需要其他任务先执行完毕。这种依赖关系主要是通过设置任务的前置依赖和后置依赖来实现的。

    前置依赖:选择其他任务作为当前任务的前置依赖。前置依赖任务完成后,当前任务才会开始执行。

    后置依赖:选择其他任务作为当前任务的后置依赖。当前任务完成后,后置依赖任务才会开始执行。

    你可以通过单击"+"按钮来添加依赖任务,然后按照需要设置依赖任务的优先级和触发条件。

    2023-12-04 17:38:14
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的任务依赖主要体现在周期调度节点间的上下游依赖关系。这种关系保障了任务有序地调度运行,即只有当上游节点成功运行时,下游节点才会启动运行,从而产出有效的业务数据。

    在DataWorks中,可以配置依赖上一周期(跨周期依赖)。例如,本节点本次实例运行,会依赖于相应节点上一周期实例的运行情况,只有待上一周期实例运行成功后,本节点才会运行。此外,DataWorks还支持分钟、小时、日、周、月、年等类型的调度任务互相依赖,调度类型不同,任务执行的周期数也会有所不同。

    需要注意的是,DataWorks的调度依赖主要保障的是调度节点定时更新的表数据,通过节点调度依赖保障下游取数无误。因此,对于不是DataWorks平台上调度更新的表,平台无法进行监控。

    2023-12-03 17:48:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多