DataWorks作业发布之后大概多久产生调度实例?作业发布之后大概多久产生调度实例,怎么过去了10多分钟还没有产生?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks作业发布后,调度实例的产生时间取决于作业的类型和复杂度,以及系统的负载情况。一般来说,简单的作业可以在几分钟内产生调度实例,而复杂的作业可能需要更长的时间。
如果您已经发布了作业,但过了10多分钟还没有产生调度实例,可能有以下原因:
【1.运维中心周期任务没有找到该任务】
节点尚未发布到生产环境,请检查下是否发布失败。
【2.有周期任务,但是周期实例一个都没有】
【排查方式】请在右上角工作空间配置检查工作空间是否开启调度。
【3.有周期任务,有其他周期实例,但是这个任务没有产生周期实例】
【排查方式】场景一:23:30分之后的发布操作第三天生效。
【排查方式】场景二:右键周期任务DAG图--展开多层父节点,检查该节点是否变成了没有挂在_root下的孤立节点,孤立节点不产生实例(收到孤立节点报警请第一时间处理)
【排查方式】场景三:检查本节点及上游节点是否在有效期内。过期任务不产生周期实例。
【现象原因】节点依赖关系变动,导致节点没有上游依赖。
【解决办法】检查孤立节点的上游节点状态是否正常,为孤立节点重新设置依赖关系。孤立节点不产生实例(收到孤立节点报警请第一时间处理)
【4.有周期任务,有周期实例但未运行(节点状态灰色)】
【排查方式】右键灰色实例DAG--展开多层父节点,检查任务是否有正在运行、运行中、运行失败、等待状态,未冻结。如果都是灰色,请根据第二条检查是否没有挂在_root下,孤立节点不运行。
【现象原因】
1.正常调度,任务运行需要有多个条件,调度资源,定时时间,上游节点运行状态,正常调度(未被冻结)
2.上游没有出现以上任何一种状态,整个业务流程均为灰色,说明上游依赖关系变动导致业务流程都被孤立。
【解决办法】
1.正常调度情况下,如果等待资源的情况较多,请使用独享调度资源。
2.整个业务流程孤立请给该业务流程的root节点添加依赖的上游。
【5.任务运行必须满足的4个条件详述】
5.1 任务定时时间已到(等待时间的节点状态:黄色)
5.2 该节点所有的依赖的父节点都已经运行完成(运行成功节点状态:绿色,运维中心DAG图展开父节点)
5.3 项目下有足够的资源可让任务运行(等待资源节点状态:黄色,日志中显示当前项目下任务并发达到上限,正在等待gateway资源)
5.4.任务正常调度(任务被冻结节点状态:紫色)
【5.开发环境运维中心能否周期性调度】
开发环境为测试环境,不支持周期性调度任务。
一般是T+1次日生成 当天可以先执行补数据
【补数据】
结合调度参数的使用后可以您可以针对周期任务进行补数据操作,选择业务时间补历史数据,或者未来时间区间的数据,调度参数会根据业务时间自动替换。
1.平台维度来看业务时间昨天的数据今天跑
补数据业务时间选择今天,会等待时间
补数据业务时间选择昨天,如果任务的定时时间是未来时间,如果没有选择立即运行,会出现等待时间。
2.是否并行:
指补数据的一段时间区间内,天维度的任务是否并发运行。也就是是否几天的任务一块跑。
3.小时任务补数据需要选择有实例生成的小时区间,否则会报错
4.节点不在生效时间内不生成实例
【实时场景一:小时任务补数据是否并行】
小时任务补0~3点的数据,选择业务时间为一周,选择并行数3。
小时任务补0~3点的数据,选择业务时间为一周,选择不并行。
注意:
是否并行控制的是天维度小时任务多少天的实例是否并发执行,小时任务当天的实例是否并发执行与小时任务是否设置了自依赖有关。如果您需要小时分钟任务不并发执行,可将节点设置为自依赖。详情请参考文档:跨周期依赖
【实时场景二:同步任务每天将增量数写入到对应的分区中,新建的离线同步任务怎么将一段时间历史数据,写入到对应的分区中?】
结合调度参数发布生产后进行补数据操作。
【为什么补数据不能选择业务时间今天,或者业务时间选择今天出现了等待时间的情况】
业务时间昨天的数据,今天的周期实例会跑。
如果要重跑业务时间昨天的数据,可以重跑周期实例。
如果出现等待时间,请检查任务的定时时间是几点,补数据补的是历史数据,选择业务时间昨天不会出现这样的情况。
【注意事项】
如果下游节点依赖过多,可以选择海量补数据,选择需要补数据的节点所在项目,节点选中项目内不需要补数据的节点(白名单)及未选中项目但需要补数据的节点(黑名单)。
非并行补数据的场景下,如果补一个区间的数据任务,第一天有任务实例失败了,那么当天的补数据实例会被置为失败,第二天的任务实例也不会开始运行(只有当天的全部任务实例都成功,第二天的任务实例才会开始运行)。
补数据实例不会触发智能报警。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
作业发布后,DataWorks会根据作业的调度规则和任务执行策略来决定何时产生调度实例。如果您的作业调度规则设置为立即执行,那么作业发布后立刻就会产生调度实例。如果您的作业调度规则设置为定时执行,那么会在设置的时间点产生调度实例。
如果您的作业发布后10多分钟还没有产生调度实例,可能是由于以下原因:
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。