DataWorks场景2：依赖上一周期的结果时，如何配置调度依赖依赖上一周期：本节点？
DataWorks场景2：依赖上一周期的结果时，如何配置调度依赖依赖上一周期：本节点？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
北京阿里云ACE会长
对于需要依赖上一周期结果的任务,DataWorks支持配置"调度依赖"功能。
操作步骤:
编辑任务的定时配置,选择"触发依赖"方式
设置"依赖的定时任务"为上一周期任务的名称
设置"依赖关系"为"本节点"
例如:
任务A每周一运行,处理上周一周数据
任务B每周二运行,需要使用任务A产出的数据
则任务B的配置为:
定时配置选择"触发依赖"
依赖的定时任务选择"任务A"
依赖关系选择"本节点"
这样就能保证:
任务B会等待任务A完成后再运行
任务B可以直接使用任务A本次周期的输出结果
通过"调度依赖",可以很好实现跨周期任务间的依赖关系管理。
2023-08-10 17:03:45赞同 展开评论 -
节点依赖：本周期节点是否运行取决于上一周期本节点是否运行成功。如果上一周期本节点未完成，将阻碍本周期节点运行。业务场景：本次节点是否进行数据清洗取决于上一周期本节点数据清洗情况。此处设置节点为小时调度以便查看。您可以进入运维中心 > 周期任务运维 > 周期实例页面，查看节点的依赖情况。说明 小时节点设置自依赖（依赖上一周期：本节点）的情况下，如果本节点上一周期实例未成功运行，则该节点下一个小时实例也不会执行。例如，每小时调度的任务，如果第一个实例执行失败了或者未运行，则当天该节点的其它小时实例也不会运行。
https://help.aliyun.com/document_detail/137551.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”2023-08-07 20:50:30赞同 展开评论
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。