Oracle Golden Gate,MySQL to Oracle数据同步测试

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:

本文主要描述使用Oracle Golden Gate 进行MySQL to Oracle数据同步的简单测试。


欢迎转载,请注明作者、出处。
作者:张正
blog:http://space.itpub.net/26355921 
QQ:176036317
如有疑问,欢迎联系。

PART 1 环境描述

一.整体逻辑结构:

二.环境介绍

注:以下所有表明要注意的地方,均不能出现错误

PART 2 初始化导入(initial load)

注意:
1.修改MySQL参数文件my.cnf,修改2行参数,开启binlog:
log-bin=master-bin
binlog_format=row
2. 重启MySQL后,select @@global.binlog_format;确保其值为row
3. 确保MySQL中试验的两张表为innodb存储引擎
4. 注意MySQL中的表名字,大小写敏感
5. MySQL数据库中的表与Oracle中的表的字段类型不能冲突
6. 需要给源和目的数据库中相关的用户授予足够的权限
源主机:
GGSCI> edit params mgr
编辑内容:
PORT 7900
启动mgr:GGSCI> start mgr
GGSCI> edit params defgen
编辑内容:
DEFSFILE ./dirdef/source.def,PURGE
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
table lockdb.tcustmer;
table lockdb.tcustord;
退出exit
执行:./defgen paramfile ./dirprm/defgen.prm
即生成./dirdef/source.def 文件
GGSCI>  add extract einikk, sourceistable
GGSCI>  edit params einikk
编辑内容:
EXTRACT EINIKK
dboptions host localhost,connectionport 3306
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
RMTHOST 192.168.81.131, MGRPORT 7900
RMTTASK REPLICAT, GROUP RINIKK
TABLE lockdb.tcustmer;
TABLE lockdb.tcustord;
将defgen复制到目标主机上:
scp  /root/ogg/dirdef/source.def 
oracle@192.168.81.131:/u01/app/oracle/gg10g/dirdef/
目的主机:
GGSCI> edit params mgr
编辑内容:
PORT 7900
启动mgr:GGSCI>  start mgr
添加replicat进程:
先登录数据库:
GGSCI> dblogin userid system,password oracle
GGSCI> add replicat rinikk,specialrun
GGSCI> edit params rinikk
编辑内容:
REPLICAT RINIKK
ASSUMETARGETDEFS
USERID system, PASSWORD oracle
sourcedefs ./dirdef/source.def
DISCARDFILE ./dirrpt/RINIKK.dsc, PURGE
MAP lockdb.tcustmer, TARGET gguser.tcustmer;
MAP lockdb.tcustord, TARGET gguser.tcustord;
Initial load配置完成,启动初始化数据导入:
在源主机上GGSCI> start extract einikk
即可看到目标数据库中出现了数据
NOTES:
若出现异常可以查看报告日志:./dirrpt/EINIKK.rpt 和 ./dirrpt/RINIKK.rpt


PART 3 数据同步

源主机上添加extract:
GGSCI> add extract eorapp,tranlog,begin now
GGSCI> edit param eorapp
编辑内容:
EXTRACT EORAPP
DBOPTIONS HOST localhost,CONNECTIONPORT 3306
SOURCEDB lockdb@localhost,USERID gguser,PASSWORD gguser
RMTHOST 192.168.81.131,MGRPORT 7900
RMTTRAIL /u01/app/oracle/gg10g/dirdat/pp
TRANLOGOPTIONS ALTLOGDEST /data/mysql/master-bin.index
TABLE lockdb.tcustmer;
TABLE lockdb.tcustord;
源主机上添加remote trail:
GGSCI> add rmttrail  /u01/app/oracle/gg10g/dirdat/pp ,extract eorapp
NOTES: 一定要注意,因为本地OGG安装目录为/root/ogg,目的主机OGG安装目录为/u01/app/oracle/gg10g,两个目录不一样。这里是在本地给目的主机添加trail,因此应该写目的主机那边的路径,且应该写全路径
目标主机上编辑全局参数文件:
GGSCI> edit params ./GLOBALS
编辑内容:
GGSCHEMA system
CHECKPOINTTABLE system.chkptab
目标主机登陆数据库:
GGSCI> dblogin userid system,password oracle
GGSCI> add checkpointtable chkptab
目标机添加replicat进程:
GGSCI>  add replicat rorapp,exttrail /u01/app/oracle/gg10g/dirdat/pp
目标主机编辑replicat进程的参数文件:
GGSCI> edit param rorapp
编辑内容:
REPLICAT RORAPP
USERID system, PASSWORD oracle
HANDLECOLLISIONS
SOURCEDEFS ./dirdef/source.def
DISCARDFILE ./dirrpt/rorapp.dsc, PURGE
MAP lockdb.tcustmer, TARGET gguser.tcustmer;
MAP lockdb.tcustord, TARGET gguser.tcustord;

启动工作进程:
先启动目标主机上的Replicat进程:start replicat rorapp


再启动源主机上的extract进程:start extract eorapp
主要的排错手段:
查看./dirrpt/eorapp.rpt和./dirrpt/rorapp.rpt报告

查看各进程状态:
GGSCI> info extract eorapp
GGSCI> info replicat rorapp
GGSCI> info all
GGSCI>info mgr

PART 4 数据验证

1.查看源库中表tcustord的记录:
select * from lockdb.tcustord;


2. 查看目标数据库:
select * from gguser.tcustord;


3. 在源库中插入一条记录:
Insert into lockdb.tcustord values(6,’aaaa’,50);

4. 在目标数据库中查询:

 
发现数据确实同步过来了。
本文转自ITPUB博客84223932的博客,原文链接:Oracle Golden Gate,MySQL to Oracle数据同步测试,如需转载请自行联系原博主。
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
16天前
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
29 0
|
20天前
|
SQL 缓存 关系型数据库
MySQL8.4 Enterprise安装Firewall及测试
MySQL8.4 Enterprise安装Firewall及测试
59 0
|
20天前
|
安全 关系型数据库 MySQL
MySQL8使用物理文件恢复MyISAM表测试
MySQL8使用物理文件恢复MyISAM表测试
31 0
|
2月前
|
Oracle 关系型数据库 MySQL
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息,包括架构、版本支持等,还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理(创建任务、迁移配置、离线迁移、校验初始化、一致性校验)及MySQL迁移的全过程。
|
7月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
234 1
|
9月前
|
关系型数据库 MySQL 数据库
【MySQL】手把手教你MySQL数据同步
【MySQL】手把手教你MySQL数据同步
|
6月前
|
关系型数据库 MySQL 测试技术
【赵渝强老师】MySQL的基准测试与sysbench
本文介绍了MySQL数据库的基准测试及其重要性,并详细讲解了如何使用sysbench工具进行测试。内容涵盖sysbench的安装、基本使用方法,以及具体测试MySQL数据库的步骤,包括创建测试数据库、准备测试数据、执行测试和清理测试数据。通过这些步骤,可以帮助读者掌握如何有效地评估MySQL数据库的性能。
230 5
|
7月前
|
Java 关系型数据库 MySQL
自动化测试项目实战笔记(一):JDK、Tomcat、MySQL、Jpress环境安装和搭建
这篇文章是关于自动化测试项目实战笔记,涵盖了JDK、Tomcat、MySQL、Jpress环境的安装和搭建过程,以及测试用例和常见问题总结。
168 1
自动化测试项目实战笔记(一):JDK、Tomcat、MySQL、Jpress环境安装和搭建
|
7月前
|
消息中间件 NoSQL 关系型数据库
一文彻底搞定Redis与MySQL的数据同步
【10月更文挑战第21天】本文介绍了 Redis 与 MySQL 数据同步的原因及实现方式。同步的主要目的是为了优化性能和保持数据一致性。实现方式包括基于数据库触发器、应用层双写和使用消息队列。每种方式都有其优缺点,需根据具体场景选择合适的方法。此外,文章还强调了数据同步时需要注意的数据一致性、性能优化和异常处理等问题。
1686 0
|
9月前
|
SQL Oracle 关系型数据库
实时计算 Flink版产品使用问题之Oracle数据库是集群部署的,怎么进行数据同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

推荐镜像

更多