dataworks的工作流可以成环么 , 比如我一个任务产出的结果不好 就会从新执行上一个任务?

dataworks的工作流可以成环么 比如我一个任务产出的结果不好 就会从新执行上一个任务?底层是dag还是状态机呢

展开
收起
真的很搞笑 2024-02-20 09:44:38 76 发布于黑龙江 分享
分享
版权
举报
3 条回答
写回答
取消 提交回答
  • dag 不支持成环 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-20 14:03:09 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的工作流不能成环,它是基于DAG(有向无环图)的执行模型。

    DataWorks是一个大数据开发治理平台,它的工作流定义了一种任务之间的依赖关系,这种关系构成了一个DAG。在DAG中,节点代表任务,边代表任务之间的依赖关系。DAG要求图中不能存在环路,即任一节点不能直接或间接地依赖自己。如果出现了节点成环的情况,即某个节点同时是上游节点和下游节点的依赖,这会导致调度系统无法确定执行顺序,从而触发报警。

    此外,当DataWorks检测到节点成环时,会自动发出报警,并且成环的节点不会被自动调度执行。如果发生了节点成环,可以通过手动干预来解决问题,比如手动终止任务或调整节点间的依赖关系。

    总的来说,DataWorks的工作流设计为DAG,不支持成环。这样的设计有助于保持数据处理流程的清晰和可管理性,避免出现循环依赖导致的调度问题。在实际使用中,应当注意规划好节点之间的依赖关系,确保工作流的正确性和高效性。

    2024-02-20 13:24:17 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • DataWorks的工作流设计遵循DAG(有向无环图)模型,即任务间存在依赖关系但不能构成循环依赖。这意味着一个任务的输出不能直接或间接地作为自身的输入。然而,在业务逻辑上,如果需要实现类似的效果,可以通过条件分支、状态机或者调用外部服务触发器等方式间接实现“回退”机制,比如当某个任务产出结果不合格时重新触发上游任务。

    底层实现上,DataWorks的工作流调度系统确实基于DAG算法来决定任务的执行顺序和依赖关系。同时,DataWorks还提供了丰富的任务状态管理及失败重试策略,以应对各种复杂的业务场景。

    2024-02-20 11:01:44 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等