外部调度系统触发任务运行有以下两种典型场景:HTTP触发器节点无其他上游任务节点
此种场景下,您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点有上游任务节点
此种场景下:您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点默认上游节点为业务流程的根节点,当上游有其他任务节点时,您需要手动修改为对应的上游任务节点。当上游任务节点运行完成,且外部调度系统发出调度指令后,HTTP触发节点才会触发下游任务节点运行。如果外部调度系统提前发出调度指令,但是上游任务节点没有运行完成,HTTP触发节点不会触发下游任务节点。系统会保留外部调度系统的调度指令,待上游任务运行完成后,再通过HTTP触发节点触发下游任务节点运行。注意 外部调度系统的触发指令仅保留24小时。如果24小时内上游任务节点没有运行完成,则触发指令会丢失,外部调度系统本次发出的调度指令失效。
https://help.aliyun.com/document_detail/190911.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
如果您有其他调度系统,希望在调度系统的任务完成后触发DataWorks上的任务运行,您可以使用DataWorks的HTTP触发器节点功能。本文为您介绍外部调度系统触发场景下,使用DataWorks的HTTP触发器节点的流程和注意事项。
前提条件
已开通DataWorks企业版及以上版本。
已创建好业务流程和需要通过HTTP触发器节点触发的计算任务节点。以使用MaxCompute的SQL进行任务计算为例,您可参见开发ODPS SQL任务,创建完成MaxCompute的SQL计算节点。
背景信息
外部调度系统触发任务运行有以下两种典型场景:
HTTP触发器节点无其他上游任务节点
此种场景下,您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发器节点和其他调度系统的触发配置。
HTTP触发器节点有上游任务节点
此种场景下:
您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发器节点和其他调度系统的触发配置。
HTTP触发器节点默认上游节点为业务流程的根节点,当上游有其他任务节点时,您需要手动修改为对应的上游任务节点。
当上游任务节点运行完成,且外部调度系统发出调度指令后,HTTP触发节点才会触发下游任务节点运行。
如果外部调度系统提前发出调度指令,但是上游任务节点没有运行完成,HTTP触发节点不会触发下游任务节点。系统会保留外部调度系统的调度指令,待上游任务运行完成后,再通过HTTP触发节点触发下游任务节点运行。
在 DataWorks 中创建 HTTP 触发器节点背景信息的具体步骤如下:
在DataWorks中,HTTP触发器节点主要被用作外部系统的调度触发器。它的运行通常依赖于外部调度系统的任务成功运行。例如,当一个第三方系统的任务成功完成后,会通过DataWorks的RunTriggerNode来触发HTTP触发器节点,进而触发下游节点开始运行。
创建HTTP触发器节点的背景信息主要涉及到任务触发和业务流程的管理。默认情况下,HTTP触发器节点的上游节点为业务流程的根节点。当上游有其他任务节点时,需要手动修改为对应的上游任务节点。同时,为了方便管理节点及业务流程,有时候还需要将HTTP触发器节点作为控制类型的虚拟节点,即不产生任何数据的空跑节点。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。