DataWorks是否支持触发式的任务执行流程,比如oss有上传一个文件,节点立即监测到新文件上传,然后执行之后的任务流程?
看下oss check节点是否符合预期 https://help.aliyun.com/zh/dataworks/user-guide/check-node?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
是的,DataWorks 支持触发式任务执行流程,即当特定事件发生时(如OSS上传新文件),自动触发下游任务开始执行。这种模式主要通过事件驱动的方式来实现,具体可以利用OSS触发器(OSS Trigger)结合DataWorks调度来完成。
以下是实现这一功能的基本步骤:
配置OSS触发器:
编写Function Compute函数:
DataWorks任务配置:
整合触发与执行:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。