开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks使用dw里的数据集成同步过去还是使用rds外部表比较好啊?

DataWorks中mc里的表每天要实时同步到rds mysql表的话,使用dw里的数据集成同步过去还是使用rds外部表比较好啊?

展开
收起
真的很搞笑 2023-11-30 14:38:38 50 0
2 条回答
写回答
取消 提交回答
  • 不太清楚mc是否支持rds的外表;外表不存储数据 同步是完整的copy一份数据到mc上 具体根据您的使用场景选择,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-30 20:01:25
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,使用数据集成同步或使用 RDS 外部表都可以实现将数据从 DW(数仓)同步到 RDS(关系型数据库)。选择哪种方法取决于您的具体需求和场景。

    下面是对这两种方法的比较:

    数据集成同步

    • 数据一致性:使用数据集成同步可以保证数据的一致性,即将 DW 中的数据同步到 RDS 时,可以确保数据的完整性和一致性。
    • 实时性:数据集成同步通常能够提供较好的实时性,可根据需求设置定时任务或按需触发同步过程。
    • 弹性伸缩:数据集成同步工具通常具有弹性伸缩的能力,可以根据数据量和负载进行自动调整,以满足更高的同步需求。

    RDS 外部表

    • 简化查询:通过创建 RDS 外部表,您可以直接在 RDS 数据库中使用 SQL 查询 DW 的数据,无需额外的同步过程。这样可以简化查询逻辑和应用代码,减少数据复制和同步的开销。
    • 数据延迟:由于 RDS 外部表会直接访问 DW 中的数据,因此可能存在一定的数据延迟。这意味着当 DW 中的数据发生变化时,您可能需要等待一段时间才能在 RDS 中看到更新的数据。
    • 安全性:使用 RDS 外部表时,您可以保持 DW 数据的集中管理和安全性。只有授权的用户能够访问 DW 中的数据,并且可以根据需要设置访问权限。
    2023-11-30 17:29:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像