DataWorks下游任务配置了失败自动重跑,并且进入了失败自动重跑的阶段,处于调度中,但还没开始重跑,此时上游任务重跑了,那下游任务是否会等待上游任务重跑完,再进行重跑呢?
下游任务会等待上游任务重跑完成后再进行重跑。
在DataWorks中,任务之间的依赖关系是通过DAG(有向无环图)来表示的,这意味着上游任务的输出是下游任务的输入。如果设置了这种依赖关系,那么下游任务会等待上游任务执行完成后才满足可执行条件。具体到您的情况,即使下游任务配置了失败自动重跑并进入了调度中的状态,但还没有开始重跑,此时如果上游任务重跑了,下游任务会等待上游任务重跑完成后,才会触发重跑。
此外,DataWorks支持强制重跑下游功能,可以用于强制重新调度指定的节点及其下游节点。如果您需要手动触发下游任务的重跑,可以选择相应的补数据模式来执行补数据操作。
总之,DataWorks的任务调度系统会根据设置的依赖关系来决定任务的执行顺序,确保数据处理的准确性和完整性。
理论上不会等待,在等待重跑时 理论上 第一步校验已经通过 不会再次校验
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。