开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks中maxcompute建议每天对人员表、订单表进行全量同步?

DataWorks中maxcompute建议每天对人员表、订单表进行全量同步?

展开
收起
cuicuicuic 2023-09-10 08:18:14 16 0
1 条回答
写回答
取消 提交回答
  • 根据数据仓库反映历史变化的特点,建议每天对人员表、订单表等会发生变化的数据进行全量同步,即每天保存的都是全量数据,方便您获取历史数据和当前数据。真实场景中因为某些特殊情况,需要每天只进行增量同步。但MaxCompute不支持Update语句修改数据,只能通过其它方式实现。下文将为您介绍两种同步策略(全量同步、增量同步)的具体操作。执行下述语句准备数据。drop table if exists user ;create table if not exists user(uid int,uname varchar(50),deptno int,gender VARCHAR(1),optime DATETIME);--历史数据insert into user values (1,'LiLei',100,'M',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (2,'HanMM',null,'F',str_to_date('2016-11-13','%Y-%m-%d'));insert into user values (3,'Jim',102,'M',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (4,'Kate',103,'F',str_to_date('2016-11-12','%Y-%m-%d'));insert into user values (5,'Lily',104,'F',str_to_date('2016-11-11','%Y-%m-%d'));--增量数据update user set deptno=101,optime=CURRENT_TIME where uid = 2; --null改成非nullupdate user set deptno=104,optime=CURRENT_TIME where uid = 3; --非null改成非nullupdate user set deptno=null,optime=CURRENT_TIME where uid = 4; --非null改成nulldelete from user where uid = 5;insert into user(uid
    https://help.aliyun.com/document_detail/137826.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-10 14:18:44
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载