能介绍下Dataworks数据增量同步对持续更新的数据进行增量同步吗?

能介绍下Dataworks数据增量同步对持续更新的数据进行增量同步吗?

展开
收起
爱喝咖啡嘿 2022-12-19 12:52:44 382 分享 版权
1 条回答
写回答
取消 提交回答
  • 根据数据仓库反映历史变化的特点,建议每天对人员表、订单表等会发生变化的数据进行全量同步,即每天保存的都是全量数据,方便您获取历史数据和当前数据。真实场景中因为某些特殊情况,需要每天只进行增量同步。但MaxCompute不支持Update语句修改数据,只能通过其它方式实现。下文将为您介绍两种同步策略(全量同步、增量同步)的具体操作。执行下述语句准备数据。drop table if exists user ;create table if not exists user(uid int,uname varchar(50),deptno int,gender VARCHAR(1),optime DATETIME);--历史数据insert into user values (1,'LiLei',100,'M',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (2,'HanMM',null,'F',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (3,'Jim',102,'M',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (4,'Kate',103,'F',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (5,'Lily',104,'F',str_to_date('2016-11-11','%Y-%m-%d'));--增量数据update user set deptno=101,optime=CURRENT_TIME where uid = 2; --null改成非nullupdate user set deptno=104,optime=CURRENT_TIME where uid = 3; --非null改成非nullupdate user set deptno=null,optime=CURRENT_TIME where uid = 4; --非null改成nulldelete from user where uid = 5;insert into user(uid https://help.aliyun.com/document_detail/137826.html——此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-19 16:33:41
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理