开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks是否支持触发式的任务执行流程?

DataWorks是否支持触发式的任务执行流程,比如oss有上传一个文件,节点立即监测到新文件上传,然后执行之后的任务流程?

展开
收起
真的很搞笑 2024-06-17 15:25:48 33 0
2 条回答
写回答
取消 提交回答
  • 看下oss check节点是否符合预期 https://help.aliyun.com/zh/dataworks/user-guide/check-node?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-06-17 19:58:28
    赞同 展开评论 打赏
  • 是的,DataWorks 支持触发式任务执行流程,即当特定事件发生时(如OSS上传新文件),自动触发下游任务开始执行。这种模式主要通过事件驱动的方式来实现,具体可以利用OSS触发器(OSS Trigger)结合DataWorks调度来完成。

    以下是实现这一功能的基本步骤:

    1. 配置OSS触发器

      • 登录阿里云OSS控制台,选择你的Bucket。
      • 进入“触发器管理”页面,创建一个新的触发器。
      • 设置触发条件,比如当Bucket中有新对象上传时触发。
      • 配置触发后调用的函数或服务,这里可以选择调用Function Compute的函数。
    2. 编写Function Compute函数

      • 在阿里云Function Compute服务中,创建一个新的函数。
      • 编写该函数以接收OSS触发的事件,并处理必要的逻辑,如解析事件内容确认是期望的文件上传。
      • 最后,让此函数调用DataWorks的OpenAPI来触发指定的调度任务或工作流。
    3. DataWorks任务配置

      • 在DataWorks中,确保你需要被触发的任务或工作流已经设置好,并且对外部触发做好准备。
      • 可能需要设置任务为可被外部调用的状态,或者通过DataWorks OpenAPI来实现任务的启动。
    4. 整合触发与执行

      • 当OSS中上传新文件时,触发器会通知Function Compute函数。
      • 函数处理后,通过调用DataWorks API触发对应的工作流或任务开始执行。
    2024-06-17 17:32:08
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多