开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

什么是调度依赖?

什么是调度依赖?

展开
收起
哒哒哒哒哒~ 2023-03-08 13:19:17 389 0
4 条回答
写回答
取消 提交回答
  • "【调度依赖关系设置】 DataWorks通过节点输出挂依赖,上游节点的输出作为下游节点的输入形成依赖关系。如下:image.png 【自动解析】--建议使用☆ select 一张表会将自动解析作为本节点依赖的上游。 insert / create一张表,该表会自动解析作为本节点的输出。image.png 【自定义依赖】--不建议使用 删除输入输出

    本地上传的表数据,非每天调度更新的数据,任何时候取数据都没有问题,不需要设置调度依赖,可以删除输入。

    手动添加上游输出

    自动推荐

    自动推荐功能会自动解析出所有已经提交并发布至生产环境,并且实际运行产出该表的节点。自动解析设置为否时可用。

    拉线设置依赖关系

    默认会将上游节点的out输出作为下游节点的输入,符合DataWorks依赖关系设置。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”" image.png

    2023-03-09 09:52:24
    赞同 展开评论 打赏
    • DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。
    • DataWorks任务依赖最终是为了保障下游取数无误,实际是上下游表数据的血缘依赖。您可根据业务需求,选择是否需要基于表的血缘关系配置调度依赖
    • 参考文档
    2023-03-08 16:55:02
    赞同 展开评论 打赏
  • DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。

    2023-03-08 13:53:13
    赞同 展开评论 打赏
  • 今天也要加油吖~

    您好,DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。

    2023-03-08 13:52:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载