我这边想要实现的大数据计算MaxCompute 该怎么实现呢？
我这边想要实现的大数据计算MaxCompute是： 把同一个表的数据从前面一个分区复制给新分区，然后在新分区的数据里根据binlog 用逻辑进行删除 更新和插入，该怎么实现呢？
又因为克隆只能同名分区克隆，所以我在中间又加了个临时表，
即：A表的前一个分区 ---> 克隆给临时表B -----> 将临时表B的分区改为新分区 -----> 再将临时表B的数据 克隆给A ----> 再在A表的新分区上进行数据增删改
A表必须为事务表 (因为要进行增删改)，是Transaction Table1.0 还是 2.0 我这边没要求，可以按可行性选择
B表是否是事务表都可以，这种模式也是无奈之举，因为我们的数据量近十亿，而且每个分区里必须保存全量否则业务实现不了，但是每天变化的数据只有几百万， 现有逻辑是 在前一个分区的基础上做merge，然后这个merge节点每天运行时间在15分钟+
我们就想着 先克隆再增删改会快很多
写回答
-
是不是可以用一下，我之前给你说的。dw整库实时进mc，监控的binlog日志。 ，此回答整理自钉群“MaxCompute开发者社区1群”
2024-03-12 23:35:00赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
