开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks因为今天的问题之前的都没有运行 那么之后的调度是不是都跑不了了?

DataWorks上有的任务是该任务的前6个小时的任务 ,但是因为今天的问题之前的都没有运行 那么之后的调度是不是都跑不了了?image.png

展开
收起
真的很搞笑 2023-11-06 13:00:54 40 0
2 条回答
写回答
取消 提交回答
  • 在DataWorks中,任务的执行通常是基于依赖关系的,即每个任务都会有一个或多个上游任务作为输入源。只有当所有上游任务均成功执行后,当前任务才会开始执行。

    如果您的某个任务依赖于之前六小时的任务,而之前的任务由于某种原因未被执行,那么这将会阻止后续相关任务的执行。

    要解决此问题,有几种可能的方法:

    1. 手动触发依赖任务的重新运行:您可以手动触发上游任务的重新运行,以便产生所需的结果数据。然后,依赖于此结果的数据工作流任务应自动开始执行。
    2. 使用补数功能:DataWorks提供了一个名为“补数”的功能,可让您通过上传外部数据或从另一个表中复制数据来填充缺失的结果。使用补数功能后,您可以在后续任务中使用这些数据,而不必等待上游任务再次运行。
    3. 修改任务配置:如果可能的话,您也可以考虑修改任务配置,使其不再依赖于特定的上游任务。这样,即使上游任务未执行,后续任务也能正常运行。
    2023-11-06 22:29:56
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    在DataWorks中,每个任务都有自己的调度策略,包括开始时间、结束时间以及频率等。如果今天的任务没有按照计划运行,并且也没有手动触发的话,那么这些任务就会被跳过,不会被执行。

    至于之后的调度,一般来说,只要调度策略没有改变,任务仍然会在设定的时间点按照预定的频率运行。但是如果当前的任务尚未完成(比如处于等待状态),那么后续的任务就无法正常启动,因为它们需要依赖于前一个任务的结果。

    因此,为了保证数据的一致性和完整性,建议尽快解决当前的问题,并重新触发那些被跳过的任务。这样可以使整个流程恢复正常,确保未来的任务可以按计划执行。

    2023-11-06 13:03:23
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多