开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute中dataworks怎么实现当日调度吗?

问题一:大数据计算MaxCompute中dataworks怎么实现当日调度吗?

问题二:我的需求是7月12日的23:50分跑的数据是12日的数据,但是设置了图上那个配置后,却是7月13日的23:50分跑的数据是12日的数据?
d9ef30ed81d7dbd4e101772132096400.png

问题三:按理说不应该啊,因为有小时调度,分钟调度,如果是只能次日调度 的话,小时跟分钟不是没有意义了吗?

展开
收起
青城山下庄文杰 2023-07-17 17:58:33 95 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在MaxCompute中使用DataWorks实现当日调度可以通过以下步骤完成:

    登录DataWorks控制台,并创建一个工作流。选择"ETL Flow"类型,然后按照向导的提示创建。
    
    在工作流中添加节点。首先添加一个数据源节点,用于指定输入数据表。然后添加一个SQL节点,用于执行计算任务。最后添加一个ODPS SQL节点,用于将计算结果输出到目标数据表。
    
    配置节点参数。在数据源节点中,选择要读取的数据表和日期,通常是当天的日期。在SQL节点中,编写计算任务的SQL语句,可以使用MaxCompute支持的SQL语法进行计算操作。在ODPS SQL节点中,配置输出表及相关参数。
    
    设置调度规则。在工作流设置页面,可以设置调度规则,如每天几点执行一次、是否重试等。
    
    定时调度。保存工作流并启动调度,系统会按照设置的调度规则自动执行计算任务。
    
    2023-07-29 13:08:34
    赞同 展开评论 打赏
  • 在大数据计算MaxCompute中,DataWorks提供了调度功能来实现当日的任务调度。您可以按照以下步骤进行设置:

    1. 登录DataWorks控制台,并创建一个工作流(Workflow)。

    2. 在工作流中添加需要调度的任务节点,例如MaxCompute的作业节点或数据同步节点。

    3. 配置任务节点的调度属性。在任务节点的属性面板中,找到调度属性部分,设置调度模式为"周期性调度",选择调度周期为"天"。

    4. 设置调度时间。根据您的需求,在调度时间字段中选择当日的具体时间点。

    5. 完成配置后,保存并发布工作流。

    这样,您就能够实现当日的任务调度。DataWorks会按照您设置的调度时间自动触发任务的执行。

    2023-07-28 21:27:31
    赞同 展开评论 打赏
  • 针对问题一的回答:同步任务的调度配置里设置一下日调度,然后再设置一下调度时间
    https://help.aliyun.com/zh/dataworks/user-guide/schedule-a-node-by-day?spm=a2c4g.11186623.0.i1

    针对问题二的回答:DataWorks默认取调度时间内,任务预期调度运行时间的前一天(即昨天)的日期为业务日期,精确到天。默认是前一天为业务日期

    针对问题三的回答:这里的调度是针对于当天时间上的调度。至于任务中数据 同步哪一天的可以设置的吧。任务配置里加一下调度参数(比如$bizdate,默认是业务日期,可以设置一下$bizdate+1)
    看看这里:https://help.aliyun.com/zh/dataworks/user-guide/configure-and-use-scheduling-parameters?spm=a2c4g.11186623.0.0
    此回答整理自钉群“MaxCompute开发者社区1群”

    2023-07-18 18:37:11
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载