开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataWorks数据传输 1、没有主键的表,需要全部建主键 2、所有要传输的表,建timestam

dataWorks数据传输 1、没有主键的表,需要全部建主键 2、所有要传输的表,建timestamp字段,感知数据变化实现增量更新。 3、因为有物理删除,所有表需要建trigger,记载物理删除行的表和主键 4、有了被删除行的表和主键 ,在dataWorks里面建任务自动来删除数据。这几个问题是这样的吗?

展开
收起
游客3oewgrzrf6o5c 2022-07-15 11:15:33 565 0
1 条回答
写回答
取消 提交回答
  • 1、如果是MaxCompute作为计算存储引擎,当前MaxCompute不支持主键和索引。 2、时间字段可以作为数据同步是的过滤条件。 3、同1 4、当前MaxCompute删除表数据有几种方法,drop命令,删除分区,清空分区数据。我理解DataWorks上界面删除表,还不能删除MaxCompute table。https://help.aliyun.com/document_detail/73771.html(此答案整理自MaxCompute开发者社区2群)

    2022-07-15 16:36:07
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多