开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks跨周期依赖是什么意思?

DataWorks跨周期依赖是什么意思?image.png
上图中的勾选是不是可以去掉

展开
收起
真的很搞笑 2023-12-10 19:53:51 61 0
3 条回答
写回答
取消 提交回答
  • 依赖上一周期是指依赖某个节点的上一周期实例,即跨周期依赖某节点上一周期实例是否正常执行。https://help.aliyun.com/zh/dataworks/user-guide/scenario-2-configure-scheduling-dependencies-for-a-node-that-depends-on-last-cycle-instances?spm=a2c4g.11186623.0.i75

    DataWoks支持以下三种跨周期依赖形式:
    一层子节点
    节点依赖关系:依赖当前节点的下游。例如节点A存在B、C、D三个下游节点,依赖一层子节点是指节点A依赖B、C、D三个节点的上一周期,即本次节点是否运行取决于上一周期下游节点是否运行成功。
    业务场景:本次(本周期)节点的运行,依赖下游节点上一周期对本节点上一周期结果表(即本节点输出表)的数据清洗结果是否成功。如果您需要查看下游节点对当前节点数据的清洗结果是否符合预期,可以对下游节点产出的结果表配置数据质量规则。
    本节点
    节点依赖关系:跨周期自依赖(依赖当前节点的上一周期),即本次节点是否运行取决于上一周期本节点是否运行成功。
    业务场景:本周期节点运行依赖上一周期该节点业务数据的产出情况。如果需要查看节点数据清洗结果是否符合预期,可以对节点产出的结果表配置数据质量监控规则。
    自定义:手动输入需要依赖的其他节点,此处需要输入节点ID。如果存在多个节点,需要使用英文逗号(,)分隔,例如12345,23456:
    节点依赖关系:手动输入需要依赖的节点,本周期节点运行取决于自定义依赖的节点上一周期该是否运行成功。
    业务场景:业务逻辑上需要依赖其它业务的数据正常产出,但本节点中没有操作该业务数据。
    依赖上一周期和依赖本周期的区别:在运维中心中查看节点依赖关系时,所有跨周期依赖的节点都会以虚线的形式展示。

    下线节点时需要删除节点依赖关系,需要删除的依赖关系包括跨周期依赖(①)和同周期依赖(②)。

    2023-12-11 14:02:07
    赞同 展开评论 打赏
  • 第一次截图圈出来这个去掉,image.png
    工作空间根节点不能冻结 在周期任务中找到这个任务 执行解冻,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 11:01:28
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks数据开发工作流程中,"跨周期依赖"是一个节点依赖于不同周期(例如天、周、月)内的其他节点的输出结果。这种依赖关系使得数据开发人员能够在不同的时间尺度上对数据进行处理和分析。通常,数据开发工作流程中的节点是按照特定的周期顺序执行的,但通过设置跨周期依赖,可以打破这种顺序限制。

    具体来说,DataWorks支持三种跨周期依赖模式:

    1. 依赖上一周期:指的是依赖某个节点的上一周期实例,即跨周期依赖某节点上一周期实例是否正常执行。
    2. 一层子节点:例如,节点A存在b、c、d三个下游节点,依赖一层子节点是指节点A依赖于这三个下游节点中的一个或多个。
    3. 多层子节点:这种模式下,一个节点可以依赖于多个下游节点。
    2023-12-11 10:04:35
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多