开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks能识别上游依赖节点发生变更,本节点就触发跑一次么?

dataworks能识别上游依赖节点发生变更,本节点就触发跑一次么?

展开
收起
滴滴滴~ 2023-03-29 15:48:45 185 0
3 条回答
写回答
取消 提交回答
  • 是的,DataWorks 可以识别上游依赖节点发生变更,并触发本节点跑一次。

    在 DataWorks 中,你可以设置节点之间的依赖关系。当上游节点(依赖项)的数据发生变化时,下游节点(被依赖项)将被自动触发运行。

    要设置节点之间的依赖关系,请执行以下步骤:

    1. 在 DataWorks 控制台上,导航到要设置依赖关系的项目。
    2. 在项目概览页面中,点击“流程”选项卡。
    3. 在流程图中,将鼠标悬停在上游节点上,然后拖动一条线连接到下游节点。
    4. 点击“保存”按钮以保存更改。

    设置依赖关系后,当上游节点的数据发生变化时,下游节点将被自动触发运行。

    注意:

    • 只有当上游节点的数据发生变化时,下游节点才会被触发。如果上游节点的数据没有变化,则下游节点不会被触发。
    • 你可以设置多个上游依赖关系。如果任何一个上游依赖关系的数据发生变化,则下游节点都会被触发。
    • 如果你删除了上游依赖关系,则下游节点将不再被该依赖关系触发。

    DataWorks 的这种特性可以帮助你构建数据处理管道,并确保管道中的数据始终是最新的。

    2024-02-28 17:22:05
    赞同 展开评论 打赏
  • 这个目前做不到 上游变更指的是脚本变更还是调度相关变更 这有可能导致依赖关系也变更 所以一般是变更后手动去补数据。此答案整理自钉群“DataWorks交流群(答疑@机器人)” image.png

    2023-03-30 09:03:46
    赞同 展开评论 打赏
  • 存在即是合理

    是的,DataWorks可以识别上游依赖节点是否发生变更,并根据需要自动触发本节点的执行。

    当一个或多个上游节点的输出结果发生变化时,DataWorks会自动检测这些变化,并触发相应的下游节点重新执行。这样,您可以确保下游节点始终使用最新的数据结果,并在必要时自动更新。

    2023-03-29 15:54:22
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多