利用GoldenGate实现Oracle实时同步方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

  利用GoldenGate实现Oracle实时同步方案


简介:

OracleGolden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。OracleGolden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时,Oracle GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。GoldenGate从源到目标数据是经过压缩加密传输,所以该方案是比较安全且对网络带宽要求不高;GoldenGate可以支持几乎所有常用操作系统和数据库平台,可扩展性非常好。



详细介绍可参考:http://pizibaidu.blog.51cto.com/1361909/1691878


      本文中 GoldenGate下载地址: http://down.51cto.com/data/2090385


Oracle GoldenGate(下文简称ogg软件也可以通过ORACLE官方网站进行下载根据ORACLE的版本及操作系统来下载对应版本的ogg官方下载地址

http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html



一. 环境准备

◆准备两台机器,分别为SourceDB, TargetDB,通过TCP/IP网络进行互连

SourceDB :Windows2008 R2企业版,Oracle 11G R2  10.6.1.58

TargetDB :Windows2008 R2企业版,Oracle 11G R2  10.6.1.59

◆必须保证SourceDB是运行在归档模式下。

◆目的 :将SourceDB中相关Schema中的数据同步复制到TargetDB相对应的Sechema中

本文中要同步的是SouceDB中的IRP用户到Target中的IRP用户下

 

◆首先要保持SourceD, TargetDB相关Schema中的初始数据一致,可以通过Expdp/impdb,Exp/Imp,Rman,冷备等方式实现.

◆双方DB建立GoldenGate用户,赋予DBA权限,用于GoldenGate连接DB.

◆双方DB安装GoldenGate.

本文档中ogg指的就是GoldenGate


为了能让ogg成功的将源数据库及目标数据库进行同步,下面还需要对oggoracle进行一系列配置(ogg支持多种复制方式,比如单项复制、双向复制等等,因实际需要,本文仅介绍单向复制相关配置)。

首先说说ogg的一些概念:

1 Managerogg所有服务必须依赖ManagerManger如同ogg的总调度。

2  Extract ogg用来获取源数据库数据更新的,将变更的数据发送到目标数据库

3 Replicat ogg用来接收源数据库的更新,一旦源数据库Extract将数据发送过来后,Replicat会自动将更新脚本同步到目标数据库。



二. 配置过程


2.1GoldenGate的安装.

 

GoldenGate安装非常简单,但需在源数据库目标数据库服务器上均安装。该软件可以从oracle官网上下载,解压安装包,路径为D:\tool\ogg

安装步骤如下:

1.       进入命令行切换到ogg目录下

2.      输入命令install addservice addevents (安装成服务)

3.       输入ggsci进入GoldenGate管理控制台。输入 create subdirs

4.       手工在ogg目录下创建discard文件夹。

5.       oracle中创建GoldenGate专属帐号(此处我直接用IRP用户)

Sqlplus /nolog

SQL> conn / as sysdba

SQL> create user IRP identified by IRP;  

SQL> grant connect,resource to IRP;

SQL> grant unlimited tablespace to IRP;

SQL> grant execute on utl_file to IRP;

或者直接赋DBA权限

SQL> grant dba to IRP;

 

6.       新创建的ogg用户执行配置脚本

ogg的安装目录下登陆sqlplus,使用sys登陆sqlplus,然后执行如下配置。

Sqlplus /nolog

SQL> conn / as sysdba

SQL> @marker_setup.sql

SQL> @ddl_setup.sql;

SQL> @role_setup.sql;

SQL> grant GGS_GGSUSER_ROLE to IRP;

SQL> @ddl_enable.sql;

7.       进入ogg控制台,测试用户是否创建成功

GGSCI (local) 1>dblogin userid IRP

Password: IRP

Successfully loggedinto database.

 

 OK,GoldenGate安装就已经完成了。

 

2.2 源服务器配置

 

1开启ORACLE归档模式,设置日志模式

sqlplus /nolog

SQL> conn / as sysdba

SQL> shutdown immediate;

SQL> startup mount;

SQL> alter database archivelog;

SQL> alter database force logging;

SQL> alter database add supplemental log data;

SQL> alter database open;

2 回收站功能会影响同步,需要关闭回收站

SQL>alter session set recyclebin=off;

SQL>alter system set recyclebin=off DEFERRED; 注意10g11g此处不太一样

3登陆ogg控制台,设置需要进行同步的oracle

GGSCI (local) 1> dblogin userid IRP

GGSCI (local) 1> add trandata IRP.*

5配置oggmanager&启动manager(配置界面操作类似vi

GGSCI (local) 1> edit param mgr

PORT 7809

GGSCI (local) 1> info all(查看当前mgr状态)

GGSCI (local) 1> start manager(启动manager,启动完后可以用info all再次查看状态)

6 添加一个ogg extract进程,用于抽取源服务器数据

GGSCI (local) 1> add extract ext1,tranlog,begin now (增加一个抽取进程ext1ext1名字可以根据需要修改)

GGSCI (local) 1> add exttrail D:\tool\ogg\dirdat\r1 extract ext1 (ext1抽取的源数据变更数据写到该文件夹)

GGSCI (local) 1> edit params ext1 (修改ext1的配置参数)

extract ext1

userid IRP,password IRP

rmthost 10.6.1.59mgrport7809  --目标服务器ip

rmttrail D:\tool\ogg\dirdat\r1   --目标服务器文件夹

ddl include mapped objname IRP.*;

table IRP.*;

配置完成后可以通过info all查看到新添加的extract的状态

 

7启动ogg extract命令

GGSCI (local) 1> start extract ext1  (等目标服务器ogg配置成功后再启动ext)

 

 

2.3目标服务器配置

1、登陆ogg控制台

GGSCI(local) 1> dblogin userid IRP


2、配置oggmanager&启动manager(配置界面操作类似vi

GGSCI(local) 1> edit param mgr

PORT7809

DYNAMICPORTLIST7840-7850  --远程队列端口范围

GGSCI(local) 1> info all(查看当前mgr状态)


3添加一个oggreplicat进程,用于更新目标服务器数据

GGSCI(local) 1> edit params ./GLOBAL

GSSCHEMAIRP

CHECKPOINTTABLEIRP.checkpoint


GGSCI(local) 2> dblogin userid IRP

Password:IRP

Successfullylogged into database.


GGSCI(local) 3> add checkpointtable IRP.checkpoint

Successfullycreated checkpoint table IRP.CHECKPOINT.


GGSCI(local) 4> ADD replicat rep1 EXTTRAIL D:\tool\ogg\dirdat\r1,checkpointtable IRP.checkpoint

GGSCI(local) 5> edit param rep1

replicatrep1

userid IRP,password IRP

ASSUMETARGETDEFS

reperrordefault,discard

discardfileD:\tool\discard\repsz.dsc,append,megabytes 10 repsz.dsc要自己创建

DDLINCLUDE MAPPED

DDLERRORDEFAULT IGNORE RETRYOP

map IRP.*,target IRP*;

 

配置完成后可以通过infoall查看到新添加的extract的状态


4、启动oggmanager & replicat命令

GGSCI(local) 1> start manager

GGSCI(local) 1> start replicat rep1


 最后参考源服务器配置,启动ext1

 

2.4 维护相关的命令

注:n指的是相应的编号

1  启动managerstartmanager

2  启动extractstartextract extn

3  启动replicatstartreplicat repn

4  停止managerstopmanager

5  停止 extractstopextract extn

6  停止replicatstopreplicat repn

7  删除extractdeleteextract extn

8  删除replicatdeleteextract repn

9  查看ogg状态:infoall

10修改manager参数:editparams mgr

11修改extract参数:editparams extn

12修改replicat参数:editparams repn

13修改全局参数:editparams ./GLOBAL


三.测试

在源服务器上建表,然后查看目标服务器是否有相应的记录。

PL/SQL登录数据库,用IRP用户。

 

3.1  源库建表及验证目标库

create table test as select * from scott.emp;

查询表记录,如下

 

Select * from test;

wKiom1Xr5wOhOixzAAIg4GGRKEo031.jpg

 

检查目标数据库,如下

wKiom1Xr5w7Ta_S6AAJgQVIf8Ns182.jpg

 

 

3.2 源库插入、删除记录及验证目标库

 

源库插入一条记录

Inert into test values(7937,'TOM','IT',7839,TO_DATE('2015/06/21','YYYY/MM/DD'),8000,0.00,30);

 

检查目标数据库

 

wKiom1Xr5xqQ-XIMAAGV2xWJ_hc590.jpg

 

 

源库删除一条记录

delete from test where EMPNO=7937 and ENAME='TOM';

 

检查目标数据库

已经删除。



本文转自pizibaidu 51CTO博客,原文链接:http://blog.51cto.com/pizibaidu/1691925,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5月前
|
SQL Oracle 关系型数据库
关系型数据库Oracle GoldenGate
【7月更文挑战第7天】
65 3
关系型数据库Oracle GoldenGate
|
5月前
|
SQL 监控 Oracle
关系型数据库Oracle GoldenGate
【7月更文挑战第11天】
42 1
|
6月前
|
Oracle 关系型数据库 Java
实时计算 Flink版产品使用问题之如何实现Oracle到其他系统的实时同步
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
Oracle 关系型数据库 数据库
Flink CDC中oracle dataguard模式下,有没有cdc备库的方案?
Flink CDC中oracle dataguard模式下,有没有cdc备库的方案?
188 1
|
Oracle 关系型数据库 数据库
flink oracle cdc实时同步(超详细)
flink oracle cdc实时同步(超详细)
799 0
|
SQL 存储 Oracle
flink oracle cdc实时同步(超详细)
超详细讲解flink oracle cdc实时同步(含oracle安装配置等)
3571 0
|
Oracle 关系型数据库 MySQL
Oracle 19C 静默安装 GoldenGate
十年以上 MySQL Oracle DBA从业者,MySQL 5.7 OCP, 个人公众号:jinjusk
184 0
|
消息中间件 JSON Oracle
「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(下)
「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流
|
消息中间件 SQL 存储
「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流(上)
「事件驱动架构」使用GoldenGate创建从Oracle到Kafka的CDC事件流
|
SQL Prometheus 监控
意犹未尽的第2篇再次推出,继续讲解oracledb_exporter监控Oracle,一个入侵性极低的监控方案。
意犹未尽的第2篇再次推出,继续讲解oracledb_exporter监控Oracle,一个入侵性极低的监控方案。
435 0

推荐镜像

更多
下一篇
无影云桌面