DataWorks有没有什么方法能够实现按月分表的调度(数据同步,每过一个月切换成新的表名【月份+1】)和统计(每日调度,每过一个月从新的表中【月份+1】取数据进行统计),比如这样的月度分表
您好!可以通过我列举的步骤实现:
先是在DataWorks中创建数据表:根据需要,可以创建多个数据表,每个表对应一个月份。
创建数据同步任务,将数据从源表同步到目标表。
设置月份变量,在每次同步数据时,将数据同步到当前月份的表中。
创建统计任务,每天调度进行统计,从当前月份的表中取数据进行统计。
创建定时任务,每个月的1号执行,更新月份变量,切换到下一个月份的表
1-12月的表需要手动先创建好 然后同步任务可以配置目标端写到1月的表这样子 用调度参数拼接表名
调用: tb_${参数名} 参数配置: 参数名=${yyyymm} ——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
将数据集成转为脚本模式,然后配置一个参数比如arg_month=$[yyyymm],将writer端的表名设置为charge_statistic_every_${arg_month},读取的时候不同月就会去读取不同月的数据
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。