DataWorks空跑调度是什么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在阿里云 DataWorks 中,空跑调度是指在调度任务执行时,只执行调度本身,而不执行具体的数据处理逻辑。空跑调度可以用于测试调度任务的正确性和稳定性,以及统计任务的执行时间等信息,而不会对数据产生影响。
在 DataWorks 中,空跑调度的设置可以按照以下步骤进行:
进入 DataWorks 控制台,找到需要设置空跑调度的调度任务。
在调度任务的配置页面中,找到“调度设置”选项卡。
在“调度设置”选项卡中,找到“调度参数”区域,设置“空跑标志”为“是”。
点击“保存”按钮,保存配置后即可生效。
需要注意的是,空跑调度只会执行调度本身,不会执行具体的数据处理逻辑。如果您需要执行数据处理逻辑,需要将“空跑标志”设置为“否”,并确保任务中包
在DataWorks中,"空跑调度"是一种特殊的调度方式,用于触发业务流程的执行,但并不会实际处理或计算任何数据。它通常用于测试和调试目的,以验证业务流程的可靠性和正确性。
当你使用空跑调度时,DataWorks会按照设定的调度策略触发业务流程的运行,但实际上不会对输入的数据进行任何处理。空跑调度会模拟正常的调度流程,包括资源分配、节点执行等,但不会真正处理数据,从而避免对生产环境造成影响。
通过空跑调度,你可以确保业务流程的各个节点能够正常运行,检查节点的连通性和参数配置是否正确。这有助于提前发现潜在的问题和错误,并及时进行修复和优化。
【空跑】
空跑的实例任务状态显示成功(正常调度),运行日志为空,无执行时长,不会实际跑数据。
【确认空跑状态】
可以点开实例详情,查看实例状态。
周月实例空跑周期
实时生成的过期实例
设置成功实例
实例属性为空跑
临时工作流中未被选择的实例
【场景一:周月实例空跑周期】
任务定时时间为“定时每周几”或者“每月定时几号”跑的任务,任务只有在指定调度时间才会真实跑数据,在非指定时间内,非调度时间内其他时间会生成空跑实例,不会实际执行任务。请确认任务定时是时间为什么时候。
【场景二:实时生成的过期实例】
当使用“发布后及时生成实例”方式生成周期实例时,只有任务定时时间在任务发布时间点十分钟后的实例会真实跑数据,发布时间点十分钟前的实例会生成一个空跑实例,不会真实跑数据。该实例状态为:实时生成的过期实例。
详情可参考文档:实施转实例
【场景三:设置成功实例】
当时实例状态为失败时,若触发“置成功”,则该实例状态会成功,不会真实跑数据,且不阻塞下游任务执行。该实例状态为:设置成功实例。
【场景四:实例属性为空跑】
检查数据开发调度配置界面该节点时间属性是否设置为“空跑调度”。
【场景五: 临时工作流中未被选择的实例】
当补数据时,假设C节点依赖B节点,B节点依赖A节点,如果补数据选择补AC节点,则该B节点实例状态为:
临时工作流中未被选择的实例。
【补数据空跑解决方法】
如果任务为月调度任务定时每月1号调度,那补数据需要选择业务时间为月末。周任务同理
【日调度任务空跑排查方法】
如果是日调度任务请检查该节点的调度配置界面是不是将节点配置为空跑。
注意:
T+1: 业务时间为今天的数据明天才会去跑。
【相关语料】
回复机器人:实时转实例,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。