由上文可见,提交发布至运维中心的各类任务在实际运行时,均需要先生成可运行任务的任务实例,然后通过不同任务的触发运行机制开始运行任务。以周期任务为例:周期任务被提交到运维中心,后续周期调度运行时,DataWorks每晚会生成第二天运行任务的实例,周期实例会根据您设置的调度配置结果(节点的依赖关系、定时时间、使用的资源等),满足运行条件后即会自动调度。您可以针对周期任务手动触发补数据生成补数据实例,用于运行获取周期任务在某一历史时间段的结果数据;或者针对周期任务手动触发任务测试,生成测试实例。说明 通过上述描述可知,周期实例根据周期任务自动生成并根据条件自动运行。测试实例、补数据实例是针对周期任务手动触发的,因此会以最新的任务配置情况生成对应的实例。您可以在周期任务运维下的周期实例面板、补数据实例面板、测试实例面板中查看各类实例的运行情况,根据实例的状态了解数据产出是否异常,不同实例状态的详情请参见附录:实例状态。实例类型 应用场景 与周期任务的关系 (对应实例如何生成) 实例触发方式 (对应实例如何触发执行) 任务运行条件 周期实例 周期性自动化进行ETL操作。 平台根据某一时间点周期任务快照信息自动生成周期实例。 平台自动触发周期实例执行。
以周期实例上的任务为例,任务开始运行前需满足以下条件: 补数据实例 人为针对当前周期任务手动触发补数据操作,并生成补数据实例。 人为针对对周期任务进行补数据操作后,会生成补数据实例,并同时触发补数据实例执行。 测试实例 需要对当前周期任务进行测试运行,观察执行结果是否符合预期。 人为针对当前周期任务手动触发测试操作,并生成测试实例。 人为针对周期任务的进行测试操作后,会生成测试实例,并且同时触发测试实例执行。节点发布生产环境后,您可以马上在周期任务面板看到,但周期实例何时生成跟您选择的实例生成方式有关。详情请参考配置时间属性。——该回答整理自钉群“DataWorks交流群(答疑@机器人)“
https://help.aliyun.com/document_detail/422710.html 调试代码片段:快捷运行
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。