DataWorks数据增量同步背景信息是什么?

DataWorks数据增量同步背景信息是什么?

展开
收起
真的很搞笑 2023-04-28 18:36:33 118 发布于浙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 回答3.png

    此答案来自钉钉群“阿里函数计算官网客户"

    2023-05-02 19:01:02 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • **说明 HbasHBase、OTSStream数据源暂无增量同步方案。根据需要同步的数据在写入后是否发生变化,分为恒定的存量数据(通常是日志数据)和持续更新的数据(例如人员表中,人员的状态会发生变化)。根据幂等性原则(一个任务多次运行的结果一致,则该任务支持重跑调度。如果该任务出现错误,脏数据较容易清理),每次导入数据都是导入至一张单独的表或分区中,或者覆盖历史记录。本文定义任务测试时间是2016年11月14日,在14日进行增量同步,同步历史数据至分区ds=20161113中。增量同步的场景配置了自动调度,把增量数据在15日凌晨同步至分区ds=20161114中。数据中的时间字段optime用来表示该数据的修改时间,从而判断这条数据是否为增量数据。 https://help.aliyun.com/document_detail/137826.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-01 14:52:47 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等