DataWorks每5分钟执行一次,但是调度任务只能选择到23:59分,导致执行23:55分的时候,23:56分的数据偏移了,计算不到了,这个怎么解决的?
会有跨天的问题 比如0:05分的任务取 [0点,0点05分) 的数据 ,0点10分的任务取 [0点05分,0点10分) 以此类推 是次日0点取前一天最后5分钟的数据,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在 DataWorks 中,调度任务的时间选择确实有限制,最晚只能选择到 23:59 分。如果您需要每5分钟执行一次任务,并且超过了可选的时间范围,则可以考虑以下解决方法:
使用循环节点(Loop Node):可以使用循环节点来实现每5分钟执行一次的需求。在循环节点中,可以设置循环次数和循环间隔时间,以触发任务的重复执行。例如,设置循环次数为 288(24小时 x 60分钟 / 5分钟),循环间隔为 5 分钟。
结合时间触发器(Time Trigger)和逻辑代码:可以结合使用时间触发器和编写逻辑代码的方式来实现每5分钟的执行。首先,在 DataWorks 中创建一个时间触发器,设置触发时间为每5分钟一次。然后,在您的任务中编写逻辑代码来处理触发器的触发事件,以执行相应的操作。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。