开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据增量同步背景信息?

DataWorks数据增量同步背景信息?

展开
收起
cuicuicuic 2023-06-11 08:57:36 40 0
1 条回答
写回答
取消 提交回答
  • 说明 HbasHBase、OTSStream数据源暂无增量同步方案。根据需要同步的数据在写入后是否发生变化,分为恒定的存量数据(通常是日志数据)和持续更新的数据(例如人员表中,人员的状态会发生变化)。根据幂等性原则(一个任务多次运行的结果一致,则该任务支持重跑调度。如果该任务出现错误,脏数据较容易清理),每次导入数据都是导入至一张单独的表或分区中,或者覆盖历史记录。本文定义任务测试时间是2016年11月14日,在14日进行增量同步,同步历史数据至分区ds=20161113中。增量同步的场景配置了自动调度,把增量数据在15日凌晨同步至分区ds=20161114中。数据中的时间字段optime用来表示该数据的修改时间,从而判断这条数据是否为增量数据。 https://help.aliyun.com/document_detail/137826.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-11 09:06:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多