DataWorks是阿里巴巴集团旗下的大数据协同工作平台,提供了一系列的数据处理和开发的工具,包括数据采集、数据清洗、数据开发等。HTTP触发器节点是DataWorks中的一种节点类型,可以通过HTTP请求来触发指定的作业或任务。
在DataWorks中,HTTP触发器节点是基于云函数服务实现的。云函数服务是一种Serverless计算服务,可以按需执行代码,提供弹性、高并发、低成本的计算能力。因此,使用HTTP触发器节点可以方便地实现基于事件的编程模型,可以在接收到HTTP请求时自动触发DataWorks中的作业或任务。
HTTP触发器节点需要设置触发器URL、HTTP请求方式、请求参数等信息。当用户访问触发器URL时,即可按照设定触发DataWorks的作业或任务,方便了数据处理的自动化和编程的灵活性。
"外部调度系统触发任务运行有以下两种典型场景:HTTP触发器节点无其他上游任务节点 此种场景下,您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点有上游任务节点
此种场景下:您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点默认上游节点为业务流程的根节点,当上游有其他任务节点时,您需要手动修改为对应的上游任务节点。当上游任务节点运行完成,且外部调度系统发出调度指令后,HTTP触发节点才会触发下游任务节点运行。如果外部调度系统提前发出调度指令,但是上游任务节点没有运行完成,HTTP触发节点不会触发下游任务节点。系统会保留外部调度系统的调度指令,待上游任务运行完成后,再通过HTTP触发节点触发下游任务节点运行。注意 外部调度系统的触发指令仅保留24小时。如果24小时内上游任务节点没有运行完成,则触发指令会丢失,外部调度系统本次发出的调度指令失效。 https://help.aliyun.com/document_detail/190911.html此答案整理自钉群“DataWorks交流群(答疑@机器人)”"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。