开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请问 大数据计算MaxCompute它依赖的任务B 没有完成, 此时 任务A 会做什么 动作 ?

请问 大数据计算MaxCompute我在 dataworks 中定义任务调度的时候,比如 任务A 在 每天 凌晨 1:00 运行, 同时它还要 依赖另一个任务B,如果到了 调度时间 1:00,但是它依赖的任务B 没有完成, 此时 任务A 会做什么 动作 ?

展开
收起
真的很搞笑 2024-03-26 16:49:28 42 0
3 条回答
写回答
取消 提交回答
  • 等B完成 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-28 10:08:19
    赞同 展开评论 打赏
  • 任务调度系统(如DataWorks)会检测任务A的所有依赖项(在此例中是任务B)是否已经成功完成。如果任务B的状态不是“已完成”(即任务仍在运行、已失败或未执行),任务A将不会被触发启动。任务A会保持等待状态,直到其所有依赖任务(包括任务B)均成功完成。

    2024-03-26 18:52:43
    赞同 展开评论 打赏
  • 阿里云大降价~

    在大数据计算平台MaxCompute中,如果任务A依赖于任务B,那么任务A的执行通常会等待任务B完成。具体的行为取决于依赖配置和作业调度系统的实现细节。

    在DataWorks这类数据工厂服务中,任务之间的依赖关系通常被定义为有向无环图(DAG),其中节点代表任务,边代表任务间的依赖关系。如果任务A依赖于任务B,那么:

    1. 如果任务B在任务A的调度时间1:00之前完成,任务A将按计划执行。
    2. 如果任务B在任务A的调度时间1:00时没有完成,任务A可能会延迟启动,直到任务B完成。
    3. 如果任务B失败,任务A可能不会执行,或者根据配置可能会执行并处理任务B的情况。

    具体的处理机制取决于DataWorks的工作流设计和错误处理设置。在一些系统中,您可以配置任务A在任务B失败时采取的行动,例如重试、跳过或终止。

    因此,如果到了调度时间1:00,任务A所依赖的任务B没有完成,任务A通常会等待任务B完成,然后才开始执行。如果任务B失败,任务A的行为将取决于您在DataWorks中设置的错误处理策略。

    2024-03-26 18:32:39
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载