DataWorks依赖关系天任务依赖小时任务时,如何实现天任务依赖小时任务昨天所有的小时实例。而非当天所有小时实例?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在 DataWorks 中,当天任务依赖昨天所有小时实例时,可以通过以下步骤来实现:
在 DataWorks 中创建一个小时级任务和一个天级任务。
将天级任务设置为依赖小时级任务。在天级任务的配置中,找到"调度依赖"选项或类似的设置,并添加小时级任务作为依赖。
在小时级任务的配置中,将任务周期设置为每小时运行一次,并设置适当的开始时间和结束时间。
在天级任务的调度配置中,使用表达式设置调度时间。你可以使用日期函数来获取昨天的日期,例如使用date_sub(current_date(), 1)来获取昨天的日期。
在小时级任务的数据处理逻辑中,根据需要处理昨天的数据。你可以使用日期函数来计算昨天的日期,例如使用date_sub(current_date(), 1)来获取昨天的日期,然后在任务逻辑中使用该日期进行数据处理。
通过以上配置,天级任务将会依赖昨天所有小时级任务的实例,而不是当天的所有小时级任务实例。这样可确保天级任务在每天运行时,会基于昨天的所有小时级任务实例来执行。
原理说明:天任务依赖小时任务昨天所有小时实例,天任务需要跨周期依赖小时任务。实时场景:当天任务需要依赖小时任务当天所有实例。依赖关系设置:下游天任务配置:跨周期依赖小时任务,即在调度配置,时间属性区域,选择依赖上一周期 > 小时任务节点id。上游小时任务配置:无需配置运维中心依赖关系查看: 下游天实例右键查看父节点会显示依赖小时任务昨天所有小时实例。(依赖线:虚线,天任务设置了跨周期依赖小时任务)
https://help.aliyun.com/document_detail/146666.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。