开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks天任务依赖小时任务,调度是怎么跑的?

DataWorks天任务依赖小时任务,调度是怎么跑的?

展开
收起
真的很搞笑 2023-11-30 14:17:05 61 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,天任务依赖小时任务的调度运行过程如下:

    1. 创建任务

      • 首先需要创建两个任务:一个为小时级别的任务(例如每个小时跑一次),另一个为天级别的任务。
    2. 设置依赖关系

      • 在天级别任务的配置中,你需要设置对所需的具体小时实例的调度依赖性。这意味着天级任务的执行会等待所依赖的小时任务完成。
    3. 定义调度时间

      • 对于小时任务,你可以设置其每天在特定的时间点运行,比如每小时的0分开始。
      • 对于天任务,你可以设置它每天在特定的时间点运行,比如每天凌晨0点开始。
    4. 任务触发

      • 当指定的调度时间到达时,DataWorks会根据你设定的依赖关系自动触发相关任务的执行。
    5. 任务执行顺序

      • 按照依赖关系,DataWorks会首先运行小时任务,一旦所有依赖的小时任务都成功执行,天任务才会开始执行。
    6. 状态检查和更新

      • DataWorks会监控每个任务的执行状态,并将这些信息更新到控制台供用户查看。
    7. 异常处理

      • 如果任何一个小时任务失败,那么依赖它的天任务不会执行,直到所有的小时任务都成功为止。
    2023-11-30 17:47:09
    赞同 1 展开评论 打赏
  • 在阿里云DataWorks中,天任务依赖小时任务的调度通常会按照以下逻辑进行:

    1. 小时任务独立运行

      • 如果上游小时任务是非自依赖(即小时任务本身未配置依赖上周期),它们将各自独立地运行。每个小时跑全量数据的任务一般适用于维表场景。
    2. 跨周期依赖

      • 当天级任务依赖于小时级任务时,可以设置为跨周期依赖。这意味着当天的任务不会等到所有当天的小时任务完成才开始执行。相反,它可以根据需要等待前一个日历日的所有小时任务完成。
    3. 实例触发

      • 当天级任务被触发时,它会检查其依赖的小时任务是否已经成功完成。如果没有,则天任务会等待相应的小时任务成功完成。
    4. 实例链传递

      • 一旦所有的依赖小时任务都成功完成,那么天任务就会被执行,并且生成一个新的实例。这个新的实例可能会影响到其他依赖于它的下游任务。
    5. 错误处理

      • 如果任何一个小时任务失败,那么依赖于它的天任务将会被标记为失败或挂起,直到问题得到解决并且重新调度。
    6. 手动干预

      • 在某些情况下,你可能需要手动介入来修复错误或者调整任务的依赖关系。这可以通过DataWorks的工作流编辑界面来进行。
    2023-11-30 14:52:47
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载