开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks在运维空间里,根据定时时间过滤,为什么还会出现时间范围外的任务?

DataWorks在运维空间里,根据定时时间过滤,为什么还会出现时间范围外的任务?image.png

展开
收起
真的很搞笑 2023-12-30 14:19:39 45 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks中的任务调度机制较为复杂,任务的实际运行时间与节点依赖的上游节点的定时时间有关。即使当前节点的定时时间早于上游节点,当前节点也必须等待上游节点的定时时间到来并且执行成功后,才会开始执行。此外,任务执行时间还受到执行资源的影响,即任务的执行是否成功也与当前节点本身执行所用的资源组有关。

    另一方面,DataWorks支持上下游不同调度周期的任务相互依赖。例如,如果目标任务每天00:00到23:59的时间段内,每隔6小时自动调度一次,而某个下游任务依赖于这个上游任务,那么即使下游任务的配置时间范围外,只要满足依赖关系,也会被调度执行。

    同时,需要注意的是DataWorks仅在生产环境进行自动调度,开发环境不支持自动调度。所以如果在非生产环境配置了定时任务,可能会出现预期之外的情况。另外,工作空间的调度时区也会影响任务的调度,默认情况下DataWorks工作空间所在地域对应的时区即为调度时区。

    因此,为了避免出现时间范围外的任务,您需要仔细检查任务之间的依赖关系、任务的调度周期以及任务所在的环境。

    2023-12-30 15:40:27
    赞同 1 展开评论 打赏
  • 在阿里云DataWorks的运维空间中,根据定时时间过滤任务时,如果出现了不在设定时间范围内的任务,可能存在以下原因:

    1. 过滤条件设置问题

      • 您可能没有正确地设置过滤条件。确保您使用了正确的字段(如调度开始时间或结束时间)和有效的日期/时间格式来筛选任务。
      • 时间范围的设置可能存在误解,比如包含了起始时间和结束时间点的任务也会被选中。
    2. 任务状态未及时更新

      • 如果任务的最新调度信息还没有完全刷新到运维空间显示的信息中,可能会导致看到的仍是旧的调度记录。
    3. 依赖关系

      • 虽然某个任务本身不在设定的时间范围内,但由于任务间的依赖关系,它可能因为上游任务的执行而被触发运行。
    4. 手动操作

      • 若有用户手动启动了不在计划时间内的任务,那么这些任务也会出现在运维空间里,并且它们的运行时间将不受定时时间过滤的影响。
    5. 任务配置错误

      • 某些任务的调度配置可能存在问题,例如cron表达式编写错误或者调度规则设置不准确,导致实际运行时间超出了预期范围。
    6. 历史记录展示

      • 运维空间中可能同时显示了历史调度记录和未来即将调度的任务,即使任务不在当前筛选的时间段内,但其历史调度记录仍然会被展示出来。
    2023-12-30 15:35:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    可视化架构运维实践 立即下载
    2021云上架构与运维峰会演讲合集 立即下载
    MySQL 技术大全:开发、优化与运维实战 立即下载