开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks的工作流可以成环么 , 比如我一个任务产出的结果不好 就会从新执行上一个任务?

dataworks的工作流可以成环么 比如我一个任务产出的结果不好 就会从新执行上一个任务?底层是dag还是状态机呢

展开
收起
真的很搞笑 2024-02-20 09:44:38 66 0
3 条回答
写回答
取消 提交回答
  • dag 不支持成环 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-20 14:03:09
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks的工作流不能成环,它是基于DAG(有向无环图)的执行模型。

    DataWorks是一个大数据开发治理平台,它的工作流定义了一种任务之间的依赖关系,这种关系构成了一个DAG。在DAG中,节点代表任务,边代表任务之间的依赖关系。DAG要求图中不能存在环路,即任一节点不能直接或间接地依赖自己。如果出现了节点成环的情况,即某个节点同时是上游节点和下游节点的依赖,这会导致调度系统无法确定执行顺序,从而触发报警。

    此外,当DataWorks检测到节点成环时,会自动发出报警,并且成环的节点不会被自动调度执行。如果发生了节点成环,可以通过手动干预来解决问题,比如手动终止任务或调整节点间的依赖关系。

    总的来说,DataWorks的工作流设计为DAG,不支持成环。这样的设计有助于保持数据处理流程的清晰和可管理性,避免出现循环依赖导致的调度问题。在实际使用中,应当注意规划好节点之间的依赖关系,确保工作流的正确性和高效性。

    2024-02-20 13:24:17
    赞同 展开评论 打赏
  • DataWorks的工作流设计遵循DAG(有向无环图)模型,即任务间存在依赖关系但不能构成循环依赖。这意味着一个任务的输出不能直接或间接地作为自身的输入。然而,在业务逻辑上,如果需要实现类似的效果,可以通过条件分支、状态机或者调用外部服务触发器等方式间接实现“回退”机制,比如当某个任务产出结果不合格时重新触发上游任务。

    底层实现上,DataWorks的工作流调度系统确实基于DAG算法来决定任务的执行顺序和依赖关系。同时,DataWorks还提供了丰富的任务状态管理及失败重试策略,以应对各种复杂的业务场景。

    2024-02-20 11:01:44
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载