DataWorks百问百答18:如何一次性同步多个MySQL(RDS)表?

简介: 如何一次性同步多个MySQL(RDS)表?

问题

大家在进行数据同步时,从MySQL(RDS)里拉数据的情景比较多,尤其是在一些大型的工程中,往往面临着分库分表的场景。比如有多个库,每个库下有多个表,如果针对每一个表都去配置一个同步任务,那么工作量将是非常繁重的。那有没有好方法呢来一次性的同步多个表呢?答案当然是肯定的,下面就详细介绍下这里的技巧。

同步一个库下的多个表

在数据集成的向导模式下,配置好MySQL的数据源后,在选择表的输入框里,可以不停的输入表名称的,凡是选中的表,都会被这个任务一次性的同步到目的端去。
image.png
【注意事项】
这里面选择的多个表的schema需要保持一致,否则执行时会报错。
如下图虽然是选择了多个表,但是配置字段映射时,其实只会调取第一个表的schema,并不会报错,但任务执行时就会报错了。
image.png

同步表名有规律的高级技巧

上面的模式对于一般情况下可能最够使用了,但是还有些用户的表非常多,比如几百个,即便是一个个去选择,也是个非常累的事情,但是这些表的命名都很有规律,比如table_001, table_002, table_003,.... table_xxx,此时切换到脚本模式后,使用特殊命名的方法就可以一次性设置所有表了,如下图。
image.png
具体参数的使用请参考MySQL Reader

同步多个库下多个表

如果要一次性同步多个库下多个表,也是可以在向导模式下配置的,只需要点击“添加数据源+”就可以增加一个数据源了,而一个数据源对应一个库,由此也就实现了同步多库多表
image.png
设置多库之后的效果:
image.png
如果每个库下还有多个表命名有规律,此时依旧可以切换到脚本模式,然后使用特殊表名命名规则来支持。

总结

使用数据集成可以灵活的支持MySQL(RDS)分库分表场景,一次性简单的配置,即可以满足大批量下数据同步的需求,避免了枯燥单调的大量任务工作。您还不赶紧试一试?

DataWorks百问百答历史记录 请点击这里查看>>

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
2167 0
|
10月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
964 6
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
监控 关系型数据库 MySQL
Flink CDC MySQL同步MySQL错误记录
在使用Flink CDC同步MySQL数据时,常见的错误包括连接错误、权限错误、表结构变化、数据类型不匹配、主键冲突和
724 17
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
957 6
|
10月前
|
SQL 关系型数据库 MySQL
阿里云RDS云数据库全解析:产品功能、收费标准与活动参考
与云服务器ECS一样,关系型数据库RDS也是很多用户上云必买的热门云产品之一,阿里云的云数据库RDS主要包含RDS MySQL、RDS SQL Server、RDS PostgreSQL、RDS MariaDB等几个关系型数据库,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,帮助您解决数据库运维的烦恼。本文为大家介绍阿里云的云数据库 RDS主要产品及计费方式、收费标准以及活动等相关情况,以供参考。
|
11月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
11月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1699 152
|
11月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
1133 156

相关产品

  • 大数据开发治理平台 DataWorks
  • 推荐镜像

    更多