开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据增量同步对持续更新的数据进行增量同步?

DataWorks数据增量同步对持续更新的数据进行增量同步?

展开
收起
cuicuicuic 2023-09-03 16:34:49 58 0
1 条回答
写回答
取消 提交回答
  • 根据数据仓库反映历史变化的特点,建议每天对人员表、订单表等会发生变化的数据进行全量同步,即每天保存的都是全量数据,方便您获取历史数据和当前数据。真实场景中因为某些特殊情况,需要每天只进行增量同步。但MaxCompute不支持Update语句修改数据,只能通过其它方式实现。下文将为您介绍两种同步策略(全量同步、增量同步)的具体操作。执行下述语句准备数据。drop table if exists user ;create table if not exists user(uid int,uname varchar(50),deptno int,gender VARCHAR(1),optime DATETIME);--历史数据insert into user values (1,'LiLei',100,'M',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (2,'HanMM',null,'F',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (3,'Jim',102,'M',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (4,'Kate',103,'F',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (5,'Lily',104,'F',str_to_date('2016-11-11','%Y-%m-%d'));--增量数据update user set deptno=101,optime=CURRENT_TIME where uid = 2; --null改成非nullupdate user set deptno=104,optime=CURRENT_TIME where uid = 3; --非null改成非nullupdate user set deptno=null,optime=CURRENT_TIME where uid = 4; --非null改成nulldelete from user where uid = 5;insert into user(uid
    https://help.aliyun.com/document_detail/137826.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-03 17:11:20
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多