开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks有没有什么方法能够实现按月分表的调度?

DataWorks有没有什么方法能够实现按月分表的调度(数据同步,每过一个月切换成新的表名【月份+1】)和统计(每日调度,每过一个月从新的表中【月份+1】取数据进行统计),比如这样的月度分表 图片.png

展开
收起
wenti 2023-02-07 12:19:18 265 0
3 条回答
写回答
取消 提交回答
  • 您好!可以通过我列举的步骤实现:

    先是在DataWorks中创建数据表:根据需要,可以创建多个数据表,每个表对应一个月份。

    创建数据同步任务,将数据从源表同步到目标表。

    设置月份变量,在每次同步数据时,将数据同步到当前月份的表中。

    创建统计任务,每天调度进行统计,从当前月份的表中取数据进行统计。

    创建定时任务,每个月的1号执行,更新月份变量,切换到下一个月份的表

    2023-02-07 17:21:51
    赞同 展开评论 打赏
  • 1-12月的表需要手动先创建好 然后同步任务可以配置目标端写到1月的表这样子 用调度参数拼接表名
    调用: tb_${参数名} 参数配置: 参数名=${yyyymm} ——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-02-07 17:07:14
    赞同 展开评论 打赏
  • 将数据集成转为脚本模式,然后配置一个参数比如arg_month=$[yyyymm],将writer端的表名设置为charge_statistic_every_${arg_month},读取的时候不同月就会去读取不同月的数据

    2023-02-07 14:04:55
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载