DataWorks怎么避免上游4点小时实例还没执行,下游的4点任务就先执行的情况呢?下游0点已经依赖上游0点了,那下游的4点不是应该依赖上游1-4点吗?上游表是这样设置:,这样形式是不行的么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实际两个上下游节点的调度周期都截图看下 4点整的任务会等上游4点整的任务执行完的,是0-4,上下游这两处都保持一致的话 就没问题
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,任务的依赖关系是通过定义任务间的依赖关系来实现的。如果一个任务依赖于另一个任务的结果,那么它会在那个任务完成后才会开始执行。
在你的场景中,你已经设置了下游的0点任务依赖于上游的0点任务。这意味着,下游的0点任务会在上游的0点任务完成后才开始执行。
如果你想让下游的4点任务也依赖于上游的任务,你需要为下游的4点任务单独设置依赖关系。你可以为下游的4点任务添加一个新的依赖条件,使其依赖于上游的1-4点任务。
在DataWorks中,为了避免出现这种情况,可以采取以下措施:
未运行节点的上游节点未成功运行,上游节点实例可能被冻结,或还在等待运行。上游节点未成功运行,则下游节点不会启动运行。https://help.aliyun.com/zh/dataworks/user-guide/what-do-i-do-if-a-node-fails-to-be-run-or-does-not-generate-data?spm=a2c4g.11186623.0.i258
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。