开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks自依赖的话 那就说 中间有任何一次出错 后面的都会阻塞,帮忙看看?

dataworks自依赖的话 那就说 中间有任何一次出错 后面的都会阻塞?

然后 这个结束时间是用来控制啥的 比如说我只想 00:03, 01:03,02:03三个时间点执行, 那的结束时间就选择为 02:03 < 结束时间 < 03:03 就可以 是这意思不?

展开
收起
真的很搞笑 2024-03-04 08:42:05 34 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果DataWorks中的自依赖任务出错,后面的任务确实会被阻塞,而任务的结束时间是用来控制任务的执行时间段

    在DataWorks中,任务之间的调度依赖关系对任务的执行流程有着重要影响。如果一个任务设置了自依赖,即它的运行依赖于上一周期该任务的运行结果,那么一旦中间有任何一次任务执行出错,后续的执行都会被阻塞。这种设计确保了数据处理的连续性和一致性,因为下游任务通常需要确保上游任务成功完成后才能正常运行。

    至于任务的结束时间,它是用来界定任务可执行的时间范围。例如,如果您希望任务仅在每天的00:03、01:03和02:03执行,您应该将结束时间设置在02:03之后,这样系统就会在每个指定的时间点触发任务执行。DataWorks支持复杂的调度逻辑,包括跨周期依赖和自定义时间点,这为灵活地控制任务执行提供了便利。

    综上所述,通过合理配置DataWorks中的任务依赖关系和调度时间,可以有效管理数据处理工作流,确保任务按预期执行。

    2024-03-04 14:49:17
    赞同 1 展开评论 打赏
  • 自依赖是这样的,你要是 想 结束时间 应该选择 3点。但是也要看你的上游依赖,资源情况 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-03-04 10:01:48
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载