开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

你好,Dataworks这边目前有个业务场景,我们这边MySQL有几个库数据量很小,我们想要一次性?

你好,Dataworks这边目前有个业务场景,我们这边MySQL有几个库数据量很小,我们想要一次性全量同步,周期性增量同步到Hologres。这边看了下DataStudio里面的离线同步任务一次只支持一个表,数据集成里面MySQL同步至Hologres的方案不能周期性调度。想请教一下这边有什么好的处理建议吗?

展开
收起
cuicuicuic 2023-07-12 08:56:57 47 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    阿里云 DataWorks 中,如果您需要将几个 MySQL 库的数据一次性导入到目标表中,可以使用以下方法:
    创建数据同步任务:在 DataWorks 中,创建一个数据同步任务,将源数据表和目标数据表进行关联,然后选择“全量同步”方式。
    配置同步任务参数:在数据同步任务中,需要配置源数据表和目标数据表的连接信息,包括数据库名称、表名称、用户名、密码等信息。同时,还需要配置其他的同步任务参数,例如数据分片数量、同步并发度、数据压缩方式等。如果需要一次性导入多个 MySQL 库的数据,可以在同步任务中添加多个数据源,并将它们关联到同一个目标表中。
    执行数据同步任务:在配置好同步任务参数后,可以执行数据同步任务,将源数据表中的数据一次性导入到目标表中。在数据同步过程中,需要注意设置合适的同步并发度和数据分片数量,以提高同步性能和效率。
    需要注意的是,一次性导入多个 MySQL 库的数据可能会对系统性能和资源造成较大的负载,建议您在非高峰期进行操作,并根据实际情况调整

    2023-07-30 20:00:14
    赞同 展开评论 打赏
  • 目前只有一次性全量+实时增量的批量方案 如果要周期性增量 还是需要单表配置了 image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-12 10:26:47
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像