DataWorks任务不调度怎么办?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
当DataWorks任务不调度时,可能是由于以下原因导致的:
任务调度策略设置错误:在DataWorks中,每个任务都需要设置调度策略,如调度频率、调度时间等。如果调度策略设置不正确,可能会导致任务无法调度。请检查任务的调度策略,确保设置正确。
任务运行时间设置错误:如果任务的运行时间设置不正确,例如设置在无人值守的时间段运行任务,可能任务就无法正常调度。请检查任务的运行时间,确保设置在正常运行时间段内。
任务创建者的权限问题:DataWorks的调度任务是根据项目空间的创建者的权限决定是否可以正确被触发的。如果任务创建者可能已经修改了用户密码,或者授权已经到期,都有可能导致任务调度不正常。请检查创建者账号的授权状态和密码是否正确。
节点资源不足:如果任务所在的计算资源节点资源不足,也会导致任务无法正常运行。请检查资源节点的可用状态,确认计算资源充足。
网络环境问题:如果您使用的是VPC网络,则需要确认任务计算节点和ODPS服务的网络互通状态。如果网络异常,可能导致任务运行失败。请检查网络配置是否正确。
【1.运维中心周期任务没有找到该任务】
节点尚未发布到生产环境,请检查下是否发布失败。 【2.有周期任务,但是周期实例一个都没有】
【排查方式】请在右上角工作空间配置 检查工作空间是否开启调度。 【3.有周期任务,有其他周期实例,但是这个任务没有产生周期实例】
【排查方式】场景一:23:30分之后的发布操作第三天生效。 【排查方式】场景二:右键周期任务DAG图--展开多层父节点,检查该节点是否变成了没有挂在_root下的孤立节点,孤立节点不产生实例(收到孤立节点报警请第一时间处理)
【排查方式】场景三:检查本节点及上游节点是否在有效期内。过期任务不产生周期实例。
【现象原因】节点依赖关系变动,导致节点没有上游依赖。
【解决办法】检查孤立节点的上游节点状态是否正常,为孤立节点重新设置依赖关系。孤立节点不产生实例(收到孤立节点报警请第一时间处理)
【4.有周期任务,有周期实例但未运行(节点状态灰色)】
【排查方式】右键灰色实例DAG--展开多层父节点,检查任务是否有正在运行、运行中、运行失败、等待状态,未冻结。如果都是灰色,请根据第二条检查是否没有挂在_root下,孤立节点不运行。
【现象原因】 1.正常调度,任务运行需要有多个条件,调度资源,定时时间,上游节点运行状态,正常调度(未被冻结) 2.上游没有出现以上任何一种状态,整个业务流程均为灰色,说明上游依赖关系变动导致业务流程都被孤立。
【解决办法】 1.正常调度情况下,如果等待资源的情况较多,请使用独享调度资源。 2.整个业务流程孤立请给该业务流程的root节点添加依赖的上游。
【5.任务运行必须满足的4个条件详述】
5.1 任务定时时间已到(等待时间的节点状态:黄色)
5.2 该节点所有的依赖的父节点都已经运行完成(运行成功节点状态:绿色,运维中心DAG图展开父节点)
5.3 项目下有足够的资源可让任务运行(等待资源节点状态:黄色,日志中显示当前项目下任务并发达到上限,正在等待gateway资源)
5.4.任务正常调度(任务被冻结节点状态:紫色)
【5.开发环境运维中心能否周期性调度】
开发环境为测试环境,不支持周期性调度任务。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。