dataworks中如果我想在odps做分区表怎么去创建 ,分区后怎么做增量?
做增量的步骤上面已同步 创建分区表 可以使用表管理 https://help.aliyun.com/document_detail/135619.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”
分区表的创建就很简单,在create语句的最后面加partition by (分区字段,字段类型)即可,增量的操作,我不理解具体逻辑,如果只是将增量数据插入每天的分区,那就在insert语句里面加判断,将对应的数据插入即可;如果是想类似kafka回流的事件数据,考虑延迟情况,将创建时间插入对应分区,就需要考虑sink端的导出情况;当然如果你想做的是拉链表的形式,那就根据主键+日期来做,将每天的增量数据以及之前的全量数据放在一起。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。