AI 助理
备案控制台
开发者社区 数据库 文章 正文

Goldengate进程的拆分与合并

2015-02-25 943
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Goldengate的拆分与合并分类： ORACLE GoldenGate 2013-10-10 15:22 721人阅读 评论(0) 收藏 举报在使用Goldengate作为复制解决方案时，随着负载的增加，replicat组件常常是最先出现性能瓶颈的。

Goldengate的拆分与合并
分类： ORACLE GoldenGate 2013-10-10 15:22 721人阅读 评论(0) 收藏 举报
在使用Goldengate作为复制解决方案时，随着负载的增加，replicat组件常常是最先出现性能瓶颈的。为了适应不断增加的负载，就需要拆分replicat来实现并行复制，本文介绍Goldengate拆分的具体实施步骤。同时，作为拆分的逆向操作，介绍如何将拆分的多个replicat合并回一个replicat。

拆分的方式一般分为两种：
一种是用goldengate提供的@RANGE函数作表内的拆分，通过对表上主键列作hash算法将该表上发生的变更均分到多个replicat上来降低单个replicat组件的负载；
另一种是将复制的表划分成几组，使用多个replicat组件来分别复制其中的一组表。
前一种拆分和合并方式的具体步骤参考metalink文档：1320133.1和1512633.1。

本文介绍后一种拆分方式的实现步骤。
为了实现对表分组拆分，首先要考虑如何分组,通常我们可以按表的负载来划分。
通过以下命令，生成近一段时间复制的统计report
GGSCI>send rep01,report
在report文件中可以看到各个表上在过去一段时间分别发生了多少变更，进而按负载将表均分到多个replicat组件中。
接下来以将一路replicat拆分成两路的案例介绍具体实施步骤：

replicat进程的拆分与合并
拆分：
1.停止replicat进程
cd $GG_HOME
ggsci
GGSCI>stop rep01

2.将两个新的replicat参数文件拷贝到$GG_HOME/dirprm目录中。
这两个新的参数文件与原有的参数文件的主要区别是将其中的复制表按负载均分为了两部分，分别放在单独的参数文件中。

3.创建新的replicat组件

GGSCI> add checkpointtable chk_yl01a
GGSCI> add checkpointtable chk_yl01b
GGSCI> ADD REPLICAT rep01a,EXTTRAIL /oracle/goldengate/ggs/dirdat/r1 checkpointtable chk_yl01a
GGSCI> ADD REPLICAT rep02a,EXTTRAIL /oracle/goldengate/ggs/dirdat/r1 checkpointtable chk_yl01b



4.检查replicat进程的checkpoint信息
GGSCI>info rep01,showch
记录下其Current Checkpoint信息中的sequence和RBA值。
Current Checkpoint (position of last record read in the data source):
Sequence #: 2157
RBA: 2856752
Timestamp: 2013-09-03 08:13:58.035316
Extract Trail: /oracle/goldengate/ggs/dirdat/r1

5.修改新建replicat进程的read checkpoint信息
根据step 4中得到的Current checkpoint信息修改新建replicat进程的checkpoint信息，之后新建的replicat进程就会从旧replicat进程停止的位置开始抓取新的信息
GGSCI> alter rep01a, extseqno <sequence>, extrba <RBA>
GGSCI> alter rep02a, extseqno <sequence >, extrba <RBA>

6.启动新建的replicat进程
GGSCI>start rep01a
GGSCI>start rep02a

7.删除旧的replicat进程
GGSCI>dblogin userid <gg user>,password ***
GGSCI>delete rep01

合并：
1.停止extract进程
cd $GG_HOME
ggsci
GGSCI>stop ext01

2.检查extract进程的checkpoint信息
GGSCI>info ext01,showch
记录下其Write Checkpoint信息中的sequence和RBA值，比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2157
RBA: 36277005

3.检查pump进程的checkpoint信息
GGSCI>info pump01,showch
若pump进程的Current Checkpoint信息中的sequence和RBA值与step 2得到的值相等，则说明goldengate抓取的信息都已被传送到了target服务器上，可继续执行下一步骤。否则，等待并重复运行该命令。
比如：
Current Checkpoint (position of last record read in the data source):
Sequence #: 2157
RBA: 36277005

同时，记录下其Write Checkpoint信息中的sequence和RBA值。
比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2160
RBA: 41659507

4.检查replicat进程的checkpoint信息
GGSCI>info rep01a,showch
GGSCI>info rep02a,showch
若replicat进程的Current Checkpoint信息中的sequence和RBA值与step 3中得到的Write Checkpoint信息相等，则说明goldengate抓取的信息都已被apply到target db，可继续执行下一步骤。否则，等待并重复运行该命令。
比如：
Current Checkpoint (position of last record read in the data source):
Sequence #: 2160
RBA: 41659507

5.停止旧的replicat进程
GGSCI>stop rep01a
GGSCI>stop rep02a

6.将合并后新的replicat参数文件拷贝到$GG_HOME/dirprm目录中。
合并后新的参数文件是将原有的两个参数文件中的表合并到了一个文件中。

7.创建新的replicat进程
GGSCI> ADD REPLICAT rep01,EXTTRAIL /oracle/goldengate/ggs/dirdat/r1

8.修改新建replicat进程的read checkpoint信息
根据step 4中得到的Current checkpoint信息修改新建replicat进程的checkpoint信息，之后新建的replicat进程就会从旧replicat进程停止的位置开始抓取新的信息
GGSCI> alter rep01, extseqno <sequence>, extrba <RBA>

9.启动新建的replicat进程
GGSCI>start rep01

10.启动extract进程
GGSCI>start ext01

11.删除旧的replicat进程
GGSCI>dblogin userid <gg user>,password ***
GGSCI>delete rep01a
GGSCI>delete rep02a


查询关于Goldengate的相关资料可发现，作为实现goldengate best practice的建议之一，oracle建议："To avoid contention, Oracle recommends that when reading trail files, you pair each Replicat with its own trail file".也就是说，当考虑拆分replicat来实现并行复制时，oracle建议最好从pump组件开始拆分，以下步骤就针对前面的案例，进一步说明了如何从pump组件开始拆分goldengate.然后介绍如何对这种拆分作逆向合并。

pump和replicat进程的拆分与合并
拆分：
1.停止extract进程
cd $GG_HOME
ggsci
GGSCI>stop ext01

2.检查extract进程的checkpoint信息
GGSCI>info ext01,showch
记录下其Write Checkpoint信息中的sequence和RBA值，比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2153
RBA: 91925643

3.检查pump进程的checkpoint信息
GGSCI>info pump01,showch
若pump进程的Current Checkpoint信息中的sequence和RBA值与step 2得到的值相等，则说明goldengate抓取的信息都已被传送到了target服务器上，可继续执行下一步骤。否则，等待并重复运行该命令。
Current Checkpoint (position of last record read in the data source):
Sequence #: 2153
RBA: 91925643

记录下其Write Checkpoint信息中的sequence和RBA值，比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2157
RBA: 2332672

4.停止旧的pump进程
GGSCI>stop pump01

5.检查replicat进程的checkpoint信息
GGSCI>info rep01,showch
若replicat进程的Current Checkpoint信息中的sequence和RBA值与step 3中得到的Write Checkpoint信息相等，则说明goldengate抓取的信息都已被apply到target db，可继续执行下一步骤。否则，等待并重复运行该命令。
Current Checkpoint (position of last record read in the data source):
Sequence #: 2157
RBA: 2856752

6.停止旧的replicat进程
GGSCI>stop rep01

7.将两个新的pump参数文件拷贝到$GG_HOME/dirprm目录中。
这两个新的参数文件与原有的参数文件的主要区别是将其中的复制表按负载均分为了两部分，分别放在单独的参数文件中。

8.创建两个新的pump进程
GGSCI>ADD EXTRACT pump01a, EXTTRAILSOURCE /oracle/goldengate/ggs/dirdat/e1
GGSCI>ADD RMTTRAIL /oracle/goldengate/ggs/dirdat/r1, EXTRACT pump01a,MEGABYTES 100
GGSCI>ADD EXTRACT pump02a, EXTTRAILSOURCE /oracle/goldengate/ggs/dirdat/e1
GGSCI>ADD RMTTRAIL /oracle/goldengate/ggs/dirdat/r2, EXTRACT pump02a,MEGABYTES 100

9.修改新建pump进程的read checkpoint信息
根据step 3中得到的read checkpoint信息修改新建pump进程的checkpoint信息，让其从旧pump进程停止的位置开始抓取新的信息
GGSCI> ALTER EXTRACT pump01a, EXTSEQNO <sequence>, EXTRBA <RBA>
GGSCI> ALTER EXTRACT pump02a, EXTSEQNO <sequence>, EXTRBA <RBA>

10.将两个新的replicat参数文件拷贝到$GG_HOME/dirprm目录中。
与pump参数文件类似，这两个新的参数文件与原有的参数文件的主要区别是对表的拆分。

11.创建两个新的replicat进程
GGSCI>ADD REPLICAT rep01a,EXTTRAIL /oracle/goldengate/ggs/dirdat/r1
GGSCI>ADD REPLICAT rep02a,EXTTRAIL /oracle/goldengate/ggs/dirdat/r2

12.删除traget服务器上/oracle/goldengate/ggs/dirdat/目录下原有的以r1开头的trail file文件

13.启动新建的pump进程
GGSCI>start pump01a
GGSCI>start pump02a

14.启动新建的replicat进程
GGSCI>start rep01a
GGSCI>start rep02a

13.删除旧的pump进程
GGSCI>delete pump01

14.删除旧的replicat进程
GGSCI>dblogin userid <gg user>,password ***
GGSCI>delete rep01

合并：
1.停止extract进程
cd $GG_HOME
ggsci
GGSCI>stop ext01

2.检查extract进程的checkpoint信息
GGSCI>info ext01,showch
记录下其Write Checkpoint信息中的sequence和RBA值，比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2153
RBA: 91925643

3.检查pump进程的checkpoint信息
GGSCI>info pump01a,showch
GGSCI>info pump02a,showch
若pump进程的Current Checkpoint信息中的sequence和RBA值与step 2得到的值相等，则说明goldengate抓取的信息都已被传送到了target服务器上，可继续执行下一步骤。否则，等待并重复运行该命令。
Current Checkpoint (position of last record read in the data source):
Sequence #: 2153
RBA: 91925643

记录下其Write Checkpoint信息中的sequence和RBA值，比如：
Write Checkpoint #1
GGS Log Trail
Current Checkpoint (current write position):
Sequence #: 2157
RBA: 2332672

4.停止旧的pump进程
GGSCI>stop pump01a
GGSCI>stop pump02a

5.检查replicat进程的checkpoint信息
GGSCI>info rep01a,showch
GGSCI>info rep01a,showch
若replicat进程的Current Checkpoint信息中的sequence和RBA值与step 3中得到的Write Checkpoint信息相等，则说明goldengate抓取的信息都已被apply到target db，可继续执行下一步骤。否则，等待并重复运行该命令。
Current Checkpoint (position of last record read in the data source):
Sequence #: 2157
RBA: 2856752

6.停止旧的replicat进程
GGSCI>stop rep01a
GGSCI>stop rep02a

7.将合并后新的pump参数文件拷贝到$GG_HOME/dirprm目录中。
合并后新的参数文件是将原有的两个参数文件中的表合并到了一个文件中。

8.创建新的pump进程
GGSCI>ADD EXTRACT pump01, EXTTRAILSOURCE /oracle/goldengate/ggs/dirdat/e1
GGSCI>ADD RMTTRAIL /oracle/goldengate/ggs/dirdat/r1, EXTRACT pump01,MEGABYTES 100

9.修改新建pump进程的read checkpoint信息
根据step 3中得到的read checkpoint信息修改新建pump进程的checkpoint信息，让其从旧pump进程停止的位置开始抓取新的信息
GGSCI> ALTER EXTRACT pump01, EXTSEQNO <sequence>, EXTRBA <RBA>

10.将合并后新的replicat参数文件拷贝到$GG_HOME/dirprm目录中。
合并后新的参数文件是将原有的两个参数文件中的表合并到了一个文件中。

11.创建新的replicat进程
GGSCI>ADD REPLICAT rep01,EXTTRAIL /oracle/goldengate/ggs/dirdat/r1

12.删除traget服务器上/oracle/goldengate/ggs/dirdat/目录下原有的以r1开头的trail file文件

13.启动新建的pump进程
GGSCI>start pump01

14.启动新建的replicat进程
GGSCI>start rep01

13.删除旧的pump进程
GGSCI>delete pump01a
GGSCI>delete pump02a

14.删除旧的replicat进程
GGSCI>dblogin userid <gg user>,password ***
GGSCI>delete rep01a
GGSCI>delete rep02a

文章标签：
关系型数据库
Oracle
算法
jimbuster
目录
相关文章
赵延东的一亩三分地
|
SQL 运维 Oracle
【大数据开发运维解决方案】ogg(GoldenGate)三大进程常用参数
PORT 7809 管理进程的监听端口，默认使7809，当7809不可用时会从DYNAMICPORTLIST定义的列表中选择一个可用的端口，主要用于本地goldengate进程之间的通信 DYNAMICPORTLIST 7810-7860 动态端口，可以指定最大256个可用端口列表，用于主端和备端的进程通信，当目标端有防火墙设置时或者主端的投递进程传送数据要经过防火墙（就是主端有防火墙设置时）才能到达备端时，需要在网络上开通指定的端口。源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口，指定足够的端口去容纳进程数的扩张，这样就不需要停止和重启管理器进程
赵延东的一亩三分地
569 0
【大数据开发运维解决方案】ogg(GoldenGate)三大进程常用参数
技术mix呢
|
Oracle 关系型数据库
改动Oracle GoldenGate(ogg)各个进程的读检查点和写检查点
技术mix呢
1559 0
科技小能手
|
Unix
【Goldengate性能优化】优化Extract抽取进程性能，解决OGG抽取日志延迟
科技小能手
2044 0
jimbuster
|
监控 Oracle 关系型数据库
用飞信监控GoldenGate进程
监控GoldenGate进程 1)         在goldengate安装目录下建立文件ogginfo $vim ogginfo  info all 2)         配置飞信报警                                      下载飞信安装包http://down.
jimbuster
971 0
jimbuster
|
关系型数据库 Oracle
GoldenGate 配置extract,replicat进程自启动
在GoldenGate中主进程是manager进程,使用start mgr启动。可以在mgr进程中添加一些参数用来在启动mgr进程的同时启动extract和replicat进程   GGSCI (gg01) 130> VIEW params mgr   --mgr主进程端口号   PORT...
jimbuster
913 0
jimbuster
|
SQL Oracle 关系型数据库
(转)goldengate 复制进程replicat出现ORA-01403 错误
最近，在goldengate的应用场景中，replicat进程经常出现append，start也启动不起来，查看日志，发现出现ora-01403错误，日志内容如下：   2012-09-27 19:06:39  INFO    OGG-00996  Oracle GoldenGate Delivery for Oracle, C_R_C6.
jimbuster
1218 0
听风的鱼鱼儿
|
6月前
|
监控 Linux 应用服务中间件
探索Linux中的`ps`命令：进程监控与分析的利器
探索Linux中的`ps`命令：进程监控与分析的利器
听风的鱼鱼儿
136 13
Linux学习的那些事儿
|
5月前
|
运维 关系型数据库 MySQL
掌握taskset：优化你的Linux进程，提升系统性能
在多核处理器成为现代计算标准的今天，运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能，还能更好地管理和分配系统资源。 其中，taskset命令是一个强大的工具，它允许管理员将进程绑定到特定的CPU核心，减少上下文切换的开销，从而提升整体效率。
Linux学习的那些事儿
349 9
掌握taskset：优化你的Linux进程，提升系统性能
香吧香
|
5月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用（minerd 、tplink等挖矿进程）
Linux系统CPU异常占用（minerd 、tplink等挖矿进程）
香吧香
186 4
Linux系统CPU异常占用（minerd 、tplink等挖矿进程）
历年考试不作弊
|
4月前
|
算法 Linux 调度
探索进程调度：Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中，进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器（Completely Fair Scheduler, CFS），一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例，理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学，并展示其如何在现代多任务计算环境中实现高效的资源分配。
历年考试不作弊
77 8