开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks多个离线任务配置了调度依赖,中间某个任务写入目的数据库出错,会影响后面的任务执行?

问题1:DataWorks多个离线任务配置了调度依赖,中间某个任务写入目的数据库出错,会影响后面的任务执行吗? 问题2:比如我中间任务因为字段属性问题写不到目的库,重试后还是失败的话,后面的任务都不会执行,是么

展开
收起
真的很搞笑 2023-05-14 08:54:43 117 0
1 条回答
写回答
取消 提交回答
  • 回答1:场景一:日调度任务依赖小时调度任务当天的所有小时实例。天调度任务直接依赖小时调度任务时,会依赖小时调度任务当天所有实例。image.png 场景二:日调度任务依赖小时调度任务当天具体某个实例。小时调度任务配置:小时调度任务设置自依赖,即小时任务调度配置界面依赖的上一周期处选择本节点。日调度任务配置:天调度任务直接依赖小时任务。即天调度任务的输入(依赖的上游节点)配置小时任务。image.png 场景三:日调度任务依赖小时调度任务昨天所有的小时实例。日调度任务调度配置跨周期依赖小时调度,即日调度任务调度配置界面选择依赖上一周期,选择自定义,填小时任务节点id。日调度任务调度配置去掉小时任务同周期依赖,即同周期依赖(依赖的上游节点)处,去掉小时任务同周期依赖。说明 如果日调度任务对小时调度任务做过跨周期依赖,那需要检查是否同周期依赖已经去掉。否则日调度任务会同时依赖小时调度任务当天所有实例和昨天所有实例。 https://help.aliyun.com/document_detail/146666.html会的 上游全部运行成功 下游才会开始执行 ;上游失败 下游会被阻塞,对的 直到成功,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-14 10:18:31
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载