开发者社区 > 数据库 > 数据仓库 > 正文

ADB是否支持源数据的多表(数据结构一致)汇总到一张表?

"我们准备购买ADB湖仓版,我们现在有个问题想请教下:
我们是一家saas型的公司,我们的订单表是根据一个租户一个表来动态生成的,都是物理表,存储于mysql中,以""order_{租户标识}""来创建的租户订单表,
比如:order_111111,order_222,.....order_16424544545

但是这样设计在同步到数仓(maxcompute)的时候,会存在上千张表任务,所以我们想将order的数据先同步到ADB 形成一张大表,然后数仓那边抽取ADB的这个order大表数据。

现在有两个疑问点:
1.ADB是否支持源数据的多表(数据结构一致)汇总到一张表?
2.在新增一个租户之后,源端会新增一个""order_{租户id}""的表,此表是否可以自动同步到ADB的那张大表中?"

展开
收起
小易01 2023-11-14 21:13:55 105 0
2 条回答
写回答
取消 提交回答
  • 是的,阿里云数据湖分析(ADB)支持源数据的多表(数据结构一致)汇总到一张表。你可以使用ADB的数据集成功能来实现这一点。

    在ADB的数据集成中,你可以定义一个数据同步任务,该任务可以将多个源表的相同结构的数据同步到一个目标表中。当源表发生变化时,ADB会自动检测到这些变化,并自动同步到目标表。

    对于你的第二个问题,当新增一个租户后,源端会新增一个""order_{租户id}""的表,这个表可以自动同步到ADB的那张大表中。你只需要在ADB的数据集成任务中添加新的源表即可。

    2023-11-15 16:10:37
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "通过DTS,可以支持多表归并到ADB,将源库中多个表结构相同的表合并到目标库的同一个数据表中。
    https://www.alibabacloud.com/help/zh/dts/user-guide/enable-multi-table-merging
    看看能不能符合你们要求。

    1. DTS多表合并支持源端多张表同步到一张ADB表(源端表结构相同)。
    2. 动态增加表,可以看看DTS的OpenAPI,通过修改同步任务的方式来主动添加源和目的的映射关系。
      https://help.aliyun.com/zh/dts/developer-reference/api-modifydtsjob
      此答案整理至钉群""云数据仓库ADB-开发者群""。"
    2023-11-14 22:06:11
    赞同 展开评论 打赏

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

相关产品

  • 云原生数据仓库 AnalyticDB PostgreSQL版
  • 相关电子书

    更多
    消电行业数据中台解决方案白皮书 立即下载
    (终极版)2020阿里云金融数据中台报告 立即下载
    2020年中国乳制品行业数据中台研究报告 立即下载