开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何创建HTTP触发器节点背景信息?

DataWorks如何创建HTTP触发器节点背景信息?

展开
收起
真的很搞笑 2023-11-07 08:47:02 77 0
4 条回答
写回答
取消 提交回答
  • 外部调度系统触发任务运行有以下两种典型场景:HTTP触发器节点无其他上游任务节点image.png
    此种场景下,您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点有上游任务节点image.png
    此种场景下:您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发节点和其他调度系统的触发配置。HTTP触发器节点默认上游节点为业务流程的根节点,当上游有其他任务节点时,您需要手动修改为对应的上游任务节点。当上游任务节点运行完成,且外部调度系统发出调度指令后,HTTP触发节点才会触发下游任务节点运行。如果外部调度系统提前发出调度指令,但是上游任务节点没有运行完成,HTTP触发节点不会触发下游任务节点。系统会保留外部调度系统的调度指令,待上游任务运行完成后,再通过HTTP触发节点触发下游任务节点运行。注意 外部调度系统的触发指令仅保留24小时。如果24小时内上游任务节点没有运行完成,则触发指令会丢失,外部调度系统本次发出的调度指令失效。
    https://help.aliyun.com/document_detail/190911.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 22:13:55
    赞同 展开评论 打赏
  • HTTP触发器节点 https://help.aliyun.com/zh/dataworks/user-guide/create-an-http-trigger-node?spm=a2c4g.11186623.0.i132

    如果您有其他调度系统,希望在调度系统的任务完成后触发DataWorks上的任务运行,您可以使用DataWorks的HTTP触发器节点功能。本文为您介绍外部调度系统触发场景下,使用DataWorks的HTTP触发器节点的流程和注意事项。

    前提条件
    已开通DataWorks企业版及以上版本。

    已创建好业务流程和需要通过HTTP触发器节点触发的计算任务节点。以使用MaxCompute的SQL进行任务计算为例,您可参见开发ODPS SQL任务,创建完成MaxCompute的SQL计算节点。

    背景信息
    外部调度系统触发任务运行有以下两种典型场景:

    HTTP触发器节点无其他上游任务节点d61a2c038306f50c1c9140bf18fc691c_p185228.png

    此种场景下,您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发器节点和其他调度系统的触发配置。

    HTTP触发器节点有上游任务节点

    06c5b93dfd82249c2595f7b62a8e78b7_p185229.png

    此种场景下:

    您需要创建HTTP触发节点后,在其他调度系统配置好调度触发,并在DataWorks上配置好各节点的调度和上下游依赖关系,详情可参见创建HTTP触发器节点和其他调度系统的触发配置。

    HTTP触发器节点默认上游节点为业务流程的根节点,当上游有其他任务节点时,您需要手动修改为对应的上游任务节点。

    当上游任务节点运行完成,且外部调度系统发出调度指令后,HTTP触发节点才会触发下游任务节点运行。

    如果外部调度系统提前发出调度指令,但是上游任务节点没有运行完成,HTTP触发节点不会触发下游任务节点。系统会保留外部调度系统的调度指令,待上游任务运行完成后,再通过HTTP触发节点触发下游任务节点运行。

    2023-11-07 14:17:34
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中创建 HTTP 触发器节点背景信息的具体步骤如下:

    1. 登录到 DataWorks 平台,在工作空间中点击新建任务。
    2. 在新建任务窗口中,点击左侧工具栏中的“触发器”,然后从下拉菜单中选择“HTTP 触发器”。
    3. 在右侧的新建 HTTP 触发器窗口中,填写相关的参数信息,包括触发器名称、触发器描述、请求地址、请求方式(GET/POST)、请求头和请求体等。每个参数都有详细的提示说明,以便您更好地理解其含义。
    4. 填写完参数信息之后,点击下方的“保存”按钮,即可成功创建 HTTP 触发器节点背景信息。
    2023-11-07 10:52:54
    赞同 展开评论 打赏
  • 在DataWorks中,HTTP触发器节点主要被用作外部系统的调度触发器。它的运行通常依赖于外部调度系统的任务成功运行。例如,当一个第三方系统的任务成功完成后,会通过DataWorks的RunTriggerNode来触发HTTP触发器节点,进而触发下游节点开始运行。

    创建HTTP触发器节点的背景信息主要涉及到任务触发和业务流程的管理。默认情况下,HTTP触发器节点的上游节点为业务流程的根节点。当上游有其他任务节点时,需要手动修改为对应的上游任务节点。同时,为了方便管理节点及业务流程,有时候还需要将HTTP触发器节点作为控制类型的虚拟节点,即不产生任何数据的空跑节点。

    2023-11-07 09:00:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载