Mysql全量数据同步Oracle步骤详解

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 0、题记项目实战中我们会遇到数据库选型的问题,有时会需要将已有Mysql数据库中的数据库全部同步到Oracle数据库中。

我们知道,Mysql的数据类型、sql语句和oracle是不通用的。所以,直接的导入、导出sql的方式在mysql与mysql之间可以,oracle与oracle之间可以,但是,在mysql和oracle之间是不可以的。


这里,就有了这篇文章要探讨的问题:有没有比较快速的方式实现Mysql与Oracle之间的同步?


1、同步工具选择

Google N久后,选择了sqldeveloper自带的同步模块实现二者的同步。

经验证,该方法对于数据库的全量同步非常好用。(验证环境,同一数据库的50个库表,数据量不大,同步时间2分钟左右)


其他的同步方案:

1)otter阿里巴巴分布式数据库同步系统(解决中美异地机房) https://github.com/alibaba/otter

没有验证,尚不知是否好用。


2)Kettle (Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。)

里面有数据库间同步、插入/更新、导出sql等的模块。

尝试了下,没有发现整体同步整个数据库的方法。


2、sqldeveloper同步操作步骤

步骤1:在新建的oracle数据库中,新建待同步mysql数据库同名的用户及表空间(表空间名称可以自定义)。

原因如下:在Mysql中,数据库和用户之间的关系不是特别明显,只要我们链接到Mysql服务器,可以看到所有的数据库和表。


而Oracle新建一个用户是没有任何资源和权限的,需要我们为其分配资源权限,也可以在这个用户下面建立表,但不能向Oracle那样建数据库,

因为对oracle来说,一个用户就对应Mysql的一个数据库。


所以迁移数据库,需要在Oracle中创建一个与相应mysql数据库同名的用户。


1)基础操作——创建新用户

create user 用户名 identified by 密码 default tablespace 表空间名


2)表空间及用户创建操作

create tablespace test datafile '/home/oracle/oradata/test .dbf' size 20000m;

create user test identified by test default tablespace test quota 500m on users;

grant all privileges to test ;

1

2

3

以上,创建了20G的表空间,表空间名称为 test .dbf。

用户名: test ,密码: test 。

创建后的表空间如下所示:


[root@Node01 oradata]# ls -al

总用量 20480020

drwxr-xr-x. 2 oracle oinstall 4096 3月 9 11:09 .

drwx------. 25 oracle oinstall 4096 3月 9 11:07 ..

-rw-r-----. 1 oracle oinstall 20971528192 3月 9 16:05 test.dbf

[root@Node01 oradata]# pwd

/home/oracle/oradata

1

2

3

4

5

6

7

步骤2:通过Oracle SQL Developer转换数据库

image.png

image.png

导出最后,之前配置的导出存储文件会生成导出sql:image.png

3、同步注意事项

表名中有中文等特殊字符,会导致导出报错。


4、小结

1)不要迷恋所谓的权威,当一个问题你遇到时,要Google一下是否有成熟的方案,有的话就不要重复“造轮子”。有的话,要调研下,找到效率最高的方式。


2)sqldeveloper大家都有用,但是其自带的同步模块却鲜为人知。


3)sqldeveloper同步优点:无需修改表结构,傻瓜式点击”下一步“操作,同步效率极高。


参考:

1)步骤向导:http://www.jb51.net/article/95345.htm(非常详细,一篇足够)

2)http://blog.csdn.net/u012814041/article/details/17530141

3)http://blog.csdn.net/wwwzys/article/details/8813503(有点乱)

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
139 1
|
4月前
|
关系型数据库 MySQL 数据库
【MySQL】手把手教你MySQL数据同步
【MySQL】手把手教你MySQL数据同步
|
3月前
|
存储 Oracle 关系型数据库
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
从基本特性、技术选型、字段类型、事务提交方式、SQL语句、分页方法等方面对比Oracle和MySQL的区别。
691 18
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
|
3月前
|
Oracle NoSQL 关系型数据库
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
主流数据库对比:MySQL、PostgreSQL、Oracle和Redis的优缺点分析
618 2
|
2月前
|
消息中间件 NoSQL 关系型数据库
一文彻底搞定Redis与MySQL的数据同步
【10月更文挑战第21天】本文介绍了 Redis 与 MySQL 数据同步的原因及实现方式。同步的主要目的是为了优化性能和保持数据一致性。实现方式包括基于数据库触发器、应用层双写和使用消息队列。每种方式都有其优缺点,需根据具体场景选择合适的方法。此外,文章还强调了数据同步时需要注意的数据一致性、性能优化和异常处理等问题。
681 0
|
3月前
|
NoSQL 关系型数据库 MySQL
当Redis与MySQL数据一致性校验中Redis数据量小于MySQL时的全量查询处理方法
保持Redis和MySQL之间的数据一致性是一个需要细致规划和持续维护的过程。通过全量数据同步、建立增量更新机制,以及定期执行数据一致性校验,可以有效地管理和维护两者之间的数据一致性。此外,利用现代化的数据同步工具可以进一步提高效率和可靠性。
61 6
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
57 0
|
2月前
|
Oracle 关系型数据库 MySQL
shell获取多个oracle库mysql库所有的表
请注意,此脚本假设你有足够的权限访问所有提到的数据库。在实际部署前,请确保对脚本中的数据库凭据、主机名和端口进行适当的修改和验证。此外,处理数据库操作时,务必谨慎操作,避免因错误的脚本执行造成数据损坏或服务中断。
44 0
|
4月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用问题之Oracle数据库是集群部署的,怎么进行数据同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks操作报错合集之如何处理数据同步时(mysql->hive)报:Render instance failed
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。

热门文章

最新文章

推荐镜像

更多