开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks中如果我想在odps做分区表怎么去创建 ,分区后怎么做增量?

已解决

dataworks中如果我想在odps做分区表怎么去创建 ,分区后怎么做增量?

展开
收起
爱喝咖啡嘿 2022-12-09 18:28:43 1059 0
2 条回答
写回答
取消 提交回答
  • 推荐回答

    做增量的步骤上面已同步 创建分区表 可以使用表管理 https://help.aliyun.com/document_detail/135619.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-12 12:20:27
    赞同 展开评论 打赏
  • 分区表的创建就很简单,在create语句的最后面加partition by (分区字段,字段类型)即可,增量的操作,我不理解具体逻辑,如果只是将增量数据插入每天的分区,那就在insert语句里面加判断,将对应的数据插入即可;如果是想类似kafka回流的事件数据,考虑延迟情况,将创建时间插入对应分区,就需要考虑sink端的导出情况;当然如果你想做的是拉链表的形式,那就根据主键+日期来做,将每天的增量数据以及之前的全量数据放在一起。

    2022-12-09 21:24:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载