dataWorks数据传输 1、没有主键的表,需要全部建主键 2、所有要传输的表,建timestamp字段,感知数据变化实现增量更新。 3、因为有物理删除,所有表需要建trigger,记载物理删除行的表和主键 4、有了被删除行的表和主键 ,在dataWorks里面建任务自动来删除数据。这几个问题是这样的吗?
1、如果是MaxCompute作为计算存储引擎,当前MaxCompute不支持主键和索引。 2、时间字段可以作为数据同步是的过滤条件。 3、同1 4、当前MaxCompute删除表数据有几种方法,drop命令,删除分区,清空分区数据。我理解DataWorks上界面删除表,还不能删除MaxCompute table。https://help.aliyun.com/document_detail/73771.html(此答案整理自MaxCompute开发者社区2群)
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。