阿里云DataWorks是基于MaxCompute(原名ODPS)的数据集成、数据开发平台,MaxCompute在支持标准SQL的同时也提供了许多扩展功能和语法,如Tunnel、数据导入导出等,可以应对需求的多样性。
MaxCompute支持事务操作,但是MaxCompute中的事务并不同于关系型数据库中的事务,它是一种基于目录的乐观事务机制,也被称为基于Catalog的一致性机制。目录中维护着表、分区、文件的元信息,对于同一文件的操作,元信息只能被一个任务获取到,其他任务需要等待第一个任务完成后再进行操作。因此,从某种程度上说它实现了乐观事务。
另外,MaxCompute提供的一些操作如PartitionManager等机制,可以支持基于分区粒度的原子操作,也提供了类似事务的语义。
MaxCompute常见问题: Q1:报错提示FAILED:ODPS-0130071:xxxxxxxxx .set tblproperties("transactional"="true") in order to use this feature A1:MaxCompute非transactional表不支持UPDATE/DELETE表数据或修改表结构。 0)transactional表UPDATE/DELETE官方文档 建transactional表官方文档 1)当前只允许创建表时设置transactional属性,已有表不允许通过alter table修改transactional属性。 2)cluster table、外部表不能设置成transactional表。 3)现有内部表和外部表不支持转成transactional表,transactional表也不支持转成普通表。 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。