开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks怎么配置第一个调度执行完成后依次执行后面的节点?

DataWorks怎么配置第一个调度执行完成后依次执行后面的节点?image.png

展开
收起
cuicuicuic 2023-12-10 19:25:27 31 0
4 条回答
写回答
取消 提交回答
  • 在 DataWorks 中,要配置第一个调度执行完成后依次执行后面的节点,可以使用工作流编排功能来实现。以下是一般的步骤:

    1. 创建工作流:在 DataWorks 控制台中,选择适当的项目和工作空间,然后创建一个新的工作流。工作流是用于定义和管理任务执行顺序的容器。

    2. 添加任务节点:在工作流中按照执行顺序添加需要执行的任务节点。每个任务节点对应一个具体的数据处理或计算任务。

    3. 配置任务节点参数:对每个任务节点进行必要的参数配置。这包括输入输出表的指定、SQL 脚本的编写、计算引擎的选择以及其他任务特定的配置项。

    4. 配置节点依赖关系:在工作流中配置节点之间的依赖关系。通常,您可以将后续节点设置为依赖于前一个节点的成功执行。这样,在第一个节点执行完成后,DataWorks 将自动触发后续节点的执行。

    5. 配置调度策略:根据实际需求,配置每个节点的调度策略。您可以选择按照时间调度、按照事件触发或其他条件来触发节点的执行。

    6. 运行工作流:保存并运行配置好的工作流。根据节点之间的依赖关系和调度策略,DataWorks 将自动触发任务节点的执行。

    2023-12-11 21:10:56
    赞同 展开评论 打赏
  • 调度依赖配置指引https://help.aliyun.com/zh/dataworks/user-guide/scheduling-dependency-configuration-guide?spm=a2c4g.11186623.0.i224

    DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引,避免因调度依赖配置有误导致数据异常,配置前建议先了解此内容。
    DataWorks任务依赖最终是为了保障下游取数无误,实际是上下游表数据的血缘依赖。您可根据业务需求,选择是否需要基于表的血缘关系配置调度依赖。节点的调度依赖配置流程如下。
    0a12bb909dd20028168e8e942e8e8a32_p521775.png

    2023-12-11 14:25:55
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,您可以使用工作流引擎来配置第一个调度执行完成后依次执行后面的节点。以下是一些步骤:

    1. 打开DataWorks控制台,并登录到您的工作空间。
    2. 在左侧导航栏中,选择“数据开发”选项。
    3. 进入数据开发页面后,找到您要配置的业务流程,并点击进入该流程的编辑页面。
    4. 在编辑页面中,您可以找到节点配置区域。在该区域中,您可以为每个节点设置输入参数和输出参数。
    5. 要配置第一个调度执行完成后依次执行后面的节点,可以使用工作流引擎中的条件判断和控制流功能。首先,在第一个节点的输出参数区域,添加一个布尔类型的参数,用于表示第一个节点是否执行成功。
    6. 然后,在第二个节点的输入参数区域,添加一个引用第一个节点输出参数的参数。确保该参数的类型与第一个节点输出参数的类型相匹配。
    7. 接下来,在第二个节点的配置中,使用条件判断语句来检查第一个节点是否执行成功。如果第一个节点执行成功,则继续执行第二个节点;否则,跳过第二个节点。
    8. 重复上述步骤,为后续的节点配置类似的条件判断和控制流逻辑。
    9. 完成配置后,保存并发布您的业务流程。
    2023-12-11 11:10:51
    赞同 展开评论 打赏
  • 现在的配置可以实现,有调度依赖关系 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-11 10:44:52
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多