开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks下游任务配置了失败自动重跑,那下游任务是否会等待上游任务重跑完,再进行重跑呢?

DataWorks下游任务配置了失败自动重跑,并且进入了失败自动重跑的阶段,处于调度中,但还没开始重跑,此时上游任务重跑了,那下游任务是否会等待上游任务重跑完,再进行重跑呢?

展开
收起
cuicuicuic 2024-01-28 10:12:56 28 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    下游任务会等待上游任务重跑完成后再进行重跑。

    在DataWorks中,任务之间的依赖关系是通过DAG(有向无环图)来表示的,这意味着上游任务的输出是下游任务的输入。如果设置了这种依赖关系,那么下游任务会等待上游任务执行完成后才满足可执行条件。具体到您的情况,即使下游任务配置了失败自动重跑并进入了调度中的状态,但还没有开始重跑,此时如果上游任务重跑了,下游任务会等待上游任务重跑完成后,才会触发重跑。

    此外,DataWorks支持强制重跑下游功能,可以用于强制重新调度指定的节点及其下游节点。如果您需要手动触发下游任务的重跑,可以选择相应的补数据模式来执行补数据操作。

    总之,DataWorks的任务调度系统会根据设置的依赖关系来决定任务的执行顺序,确保数据处理的准确性和完整性。

    2024-01-28 21:05:44
    赞同 1 展开评论 打赏
  • 理论上不会等待,在等待重跑时 理论上 第一步校验已经通过 不会再次校验c4c005f04a5350e79f267579113c9d31.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-01-28 10:33:59
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多