开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks任务不调度怎么办?

DataWorks任务不调度怎么办?

展开
收起
真的很搞笑 2023-09-12 17:03:12 70 0
2 条回答
写回答
取消 提交回答
  • 【1.运维中心周期任务没有找到该任务】

    节点尚未发布到生产环境,请检查下是否发布失败。

    image.png

    【2.有周期任务,但是周期实例一个都没有】

    【排查方式】请在右上角工作空间配置检查工作空间是否开启调度。
    image.png

    【3.有周期任务,有其他周期实例,但是这个任务没有产生周期实例】

    【排查方式】场景一:23:30分之后的发布操作第三天生效。
    image.png

    【排查方式】场景二:右键周期任务DAG图--展开多层父节点,检查该节点是否变成了没有挂在_root下的孤立节点,孤立节点不产生实例(收到孤立节点报警请第一时间处理)

    【排查方式】场景三:检查本节点及上游节点是否在有效期内。过期任务不产生周期实例。
    image.png

    【现象原因】节点依赖关系变动,导致节点没有上游依赖。

    【解决办法】检查孤立节点的上游节点状态是否正常,为孤立节点重新设置依赖关系。孤立节点不产生实例(收到孤立节点报警请第一时间处理)

    【4.有周期任务,有周期实例但未运行(节点状态灰色)】

    【排查方式】右键灰色实例DAG--展开多层父节点,检查任务是否有正在运行、运行中、运行失败、等待状态,未冻结。如果都是灰色,请根据第二条检查是否没有挂在_root下,孤立节点不运行。

    【现象原因】
    1.正常调度,任务运行需要有多个条件,调度资源,定时时间,上游节点运行状态,正常调度(未被冻结)
    2.上游没有出现以上任何一种状态,整个业务流程均为灰色,说明上游依赖关系变动导致业务流程都被孤立。

    【解决办法】
    1.正常调度情况下,如果等待资源的情况较多,请使用独享调度资源。
    2.整个业务流程孤立请给该业务流程的root节点添加依赖的上游。

    【5.任务运行必须满足的4个条件详述】

    5.1 任务定时时间已到(等待时间的节点状态:黄色)

    5.2 该节点所有的依赖的父节点都已经运行完成(运行成功节点状态:绿色,运维中心DAG图展开父节点)

    5.3 项目下有足够的资源可让任务运行(等待资源节点状态:黄色,日志中显示当前项目下任务并发达到上限,正在等待gateway资源)

    5.4.任务正常调度(任务被冻结节点状态:紫色)

    【5.开发环境运维中心能否周期性调度】

    开发环境为测试环境,不支持周期性调度任务。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-12 22:55:52
    赞同 展开评论 打赏
  • 数据开发攻城狮,常年混迹于数据之中。VX公众号:张飞的猪

    当然是排查为什么不调度了。然后针对性的解决问题。

    2023-09-12 17:31:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多