问题一:大数据计算MaxCompute中dataworks怎么实现当日调度吗?
问题二:我的需求是7月12日的23:50分跑的数据是12日的数据,但是设置了图上那个配置后,却是7月13日的23:50分跑的数据是12日的数据?
问题三:按理说不应该啊,因为有小时调度,分钟调度,如果是只能次日调度 的话,小时跟分钟不是没有意义了吗?
在MaxCompute中使用DataWorks实现当日调度可以通过以下步骤完成:
登录DataWorks控制台,并创建一个工作流。选择"ETL Flow"类型,然后按照向导的提示创建。
在工作流中添加节点。首先添加一个数据源节点,用于指定输入数据表。然后添加一个SQL节点,用于执行计算任务。最后添加一个ODPS SQL节点,用于将计算结果输出到目标数据表。
配置节点参数。在数据源节点中,选择要读取的数据表和日期,通常是当天的日期。在SQL节点中,编写计算任务的SQL语句,可以使用MaxCompute支持的SQL语法进行计算操作。在ODPS SQL节点中,配置输出表及相关参数。
设置调度规则。在工作流设置页面,可以设置调度规则,如每天几点执行一次、是否重试等。
定时调度。保存工作流并启动调度,系统会按照设置的调度规则自动执行计算任务。
在大数据计算MaxCompute中,DataWorks提供了调度功能来实现当日的任务调度。您可以按照以下步骤进行设置:
登录DataWorks控制台,并创建一个工作流(Workflow)。
在工作流中添加需要调度的任务节点,例如MaxCompute的作业节点或数据同步节点。
配置任务节点的调度属性。在任务节点的属性面板中,找到调度属性部分,设置调度模式为"周期性调度",选择调度周期为"天"。
设置调度时间。根据您的需求,在调度时间字段中选择当日的具体时间点。
完成配置后,保存并发布工作流。
这样,您就能够实现当日的任务调度。DataWorks会按照您设置的调度时间自动触发任务的执行。
针对问题一的回答:同步任务的调度配置里设置一下日调度,然后再设置一下调度时间
https://help.aliyun.com/zh/dataworks/user-guide/schedule-a-node-by-day?spm=a2c4g.11186623.0.i1
针对问题二的回答:DataWorks默认取调度时间内,任务预期调度运行时间的前一天(即昨天)的日期为业务日期,精确到天。默认是前一天为业务日期
针对问题三的回答:这里的调度是针对于当天时间上的调度。至于任务中数据 同步哪一天的可以设置的吧。任务配置里加一下调度参数(比如$bizdate,默认是业务日期,可以设置一下$bizdate+1)
看看这里:https://help.aliyun.com/zh/dataworks/user-guide/configure-and-use-scheduling-parameters?spm=a2c4g.11186623.0.0
此回答整理自钉群“MaxCompute开发者社区1群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。