DataWorks小时分区的调度需要怎么配置?
表分区的时候小时都取上个小时数据,怎么解决
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
问题描述:表分区格式day=yyyymmdd,hour=hh24,且任何执行的时候小时都取上个小时数据,$[yyyymmdd] $[hh24-1/24]是可以满足,但是0点的时候会变成当天的23点,怎么办?解决办法:您可以修改参数的计算公式,修改datetime为$[yyyymmdd-1/24],hour的计算公式仍然是$[hh24-1/24]。配置:代码里day=datetime, hour={hour}, 节点配置参数赋值 datetime=[yyyymmdd-1/24],hour=[hh24-1/24]实时场景:如果一个实例的定时时间是2021-7-21 00:00:00,减1小时便是昨天,则$[yyyymmdd-1/24]的值是20210720、$[hh24-1/24]的值是23。如果一个实例的定时时间为2021-7-21 01:00:00的实例,减1小时还是今天,则$[yyyymmdd-1/24]的值是20210721、$[hh24-1/24]的值是00。 https://help.aliyun.com/document_detail/146667.html
https://help.aliyun.com/document_detail/137548.html?spm=a2c4g.137670.0.i1,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。