开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中如果我想在odps做分区表怎么去创建 ,分区后怎么做增量?

已解决

dataworks中如果我想在odps做分区表怎么去创建 ,分区后怎么做增量?

展开
收起
爱喝咖啡嘿 2022-12-09 18:28:43 1053 0
2 条回答
写回答
取消 提交回答
  • 推荐回答

    做增量的步骤上面已同步 创建分区表 可以使用表管理 https://help.aliyun.com/document_detail/135619.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-12 12:20:27
    赞同 展开评论 打赏
  • 分区表的创建就很简单,在create语句的最后面加partition by (分区字段,字段类型)即可,增量的操作,我不理解具体逻辑,如果只是将增量数据插入每天的分区,那就在insert语句里面加判断,将对应的数据插入即可;如果是想类似kafka回流的事件数据,考虑延迟情况,将创建时间插入对应分区,就需要考虑sink端的导出情况;当然如果你想做的是拉链表的形式,那就根据主键+日期来做,将每天的增量数据以及之前的全量数据放在一起。

    2022-12-09 21:24:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载