开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks能不能对一个sql节点,每天执行三次,想做到每天自动回刷上月当日数据?

DataWorks能不能对一个sql节点,每天执行三次,使用不同的业务日期呢,想做到每天自动回刷上月当日数据?

展开
收起
cuicuicuic 2023-11-21 09:07:11 38 0
3 条回答
写回答
取消 提交回答
  • 可以看下 循环节点是否能满足场景,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-21 21:52:51
    赞同 展开评论 打赏
  • 是的,DataWorks可以对一个SQL节点进行定时调度,每天执行多次,并使用不同的业务日期。您可以在DataWorks中配置定时任务,设置每天执行的时间点和执行次数,并在SQL节点中使用动态参数来指定不同的业务日期。

    具体来说,您可以按照以下步骤进行操作:

    1. 在DataWorks中创建SQL节点,编写SQL语句,并添加动态参数。例如,您可以使用${bizdate}作为动态参数,表示业务日期。

    2. 在DataWorks中创建定时任务,设置每天执行的时间点和执行次数。您可以选择每天执行一次、两次或三次等不同的执行频率。

    3. 在定时任务的配置中,将SQL节点关联到该任务上,并设置动态参数的值。您可以使用系统变量或自定义变量来指定不同的业务日期。例如,您可以使用系统变量${bizdate}来获取当前日期,并将其设置为动态参数的值。

    4. 保存并提交定时任务的配置。DataWorks将根据您设置的时间点和执行次数自动执行SQL节点,并将不同的业务日期传递给动态参数。

    通过以上步骤,您可以实现每天自动回刷上月当日数据的需求。当定时任务运行时,它将根据您设置的时间点和执行次数自动执行SQL节点,并将不同的业务日期传递给动态参数,从而实现数据的自动回刷。

    2023-11-21 15:07:29
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,在 DataWorks 中可以实现对 SQL 节点每日执行多次,并使用不同的业务日期。具体做法如下:

    1. 创建 SQL 节点:首先,在 DataWorks 中创建一个 SQL 节点,其中包含您需要执行的 SQL 查询语句。这个 SQL 查询应该包含一个变量来表示业务日期,以便可以根据需要进行替换。
    2. 设置变量值:接下来,在 DataWorks 中为这个变量设置合适的值。可以使用 DataWorks 提供的表达式功能来定义一个表达式,以便根据实际需求动态计算业务日期。
    3. 定义调度规则:然后,在 DataWorks 中为这个 SQL 节点定义三个调度规则,分别对应每天早上、中午和晚上的执行时间。每个调度规则都应该使用不同的变量值。
    4. 启动任务:最后,在 DataWorks 中启动这个 SQL 节点,它将会根据您设置的调度规则每天自动执行三次,并使用不同的业务日期来刷新上月当日的数据。
    2023-11-21 13:35:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多