"我们准备购买ADB湖仓版,我们现在有个问题想请教下:
我们是一家saas型的公司,我们的订单表是根据一个租户一个表来动态生成的,都是物理表,存储于mysql中,以""order_{租户标识}""来创建的租户订单表,
比如:order_111111,order_222,.....order_16424544545
但是这样设计在同步到数仓(maxcompute)的时候,会存在上千张表任务,所以我们想将order的数据先同步到ADB 形成一张大表,然后数仓那边抽取ADB的这个order大表数据。
现在有两个疑问点:
1.ADB是否支持源数据的多表(数据结构一致)汇总到一张表?
2.在新增一个租户之后,源端会新增一个""order_{租户id}""的表,此表是否可以自动同步到ADB的那张大表中?"
是的,阿里云数据湖分析(ADB)支持源数据的多表(数据结构一致)汇总到一张表。你可以使用ADB的数据集成功能来实现这一点。
在ADB的数据集成中,你可以定义一个数据同步任务,该任务可以将多个源表的相同结构的数据同步到一个目标表中。当源表发生变化时,ADB会自动检测到这些变化,并自动同步到目标表。
对于你的第二个问题,当新增一个租户后,源端会新增一个""order_{租户id}""的表,这个表可以自动同步到ADB的那张大表中。你只需要在ADB的数据集成任务中添加新的源表即可。
"通过DTS,可以支持多表归并到ADB,将源库中多个表结构相同的表合并到目标库的同一个数据表中。
https://www.alibabacloud.com/help/zh/dts/user-guide/enable-multi-table-merging
看看能不能符合你们要求。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。