GoldenGate 对asm磁盘的访问的两种方式:asm实例连接和API(dblogreader)两种方式的对比

简介: GoldenGate在抽取数据的时候要读取online redo里的数据,online redo很多时候是储存在asm磁盘里,对asm磁盘的访问有两种方式

背景说明

GoldenGate在抽取数据的时候要读取online redo里的数据,online redo很多时候是储存在asm磁盘里,对asm磁盘的访问有两种方式:


是在tnsnames.ora文件中增加访问asm实例的链接描述,并在Extract进程参数文件中添加访问asm实例的链接信息

是使用asm的api接口(DBLOGREADER ),只能支持oracle 11r2以上的版本

测试结果

online redo只在asm磁盘 online redo同时在asm磁盘和本地文件系统

asm实例的链接 支持 支持

asm的api接口(DBLOGREADER) 支持 支持

配置asm磁盘和本地文件系统混合的online redo

online redo只在asm磁盘


set linesize 200
select * from v$log;
col member form a50
select * from v$logfile;
SQL> set linesize 200
select * from v$log;
col member form a50
select * from v$logfile;SQL> 
    GROUP#    THREAD#  SEQUENCE#      BYTES  BLOCKSIZE   MEMBERS ARCHIV STATUS      FIRST_CHANGE# FIRST_TIME     NEXT_CHANGE# NEXT_TIME   CON_ID
---------- ---------- ---------- ---------- ---------- ---------- ------ -------------------------------- ------------- ------------------- ------------ ------------------- ----------
  1     1        7  209715200    512  2 YES  INACTIVE    1970481 2020-10-14 19:14:07 2059245 2020-10-14 23:00:20       0
  2     1        8  209715200    512  2 YES  INACTIVE    2059245 2020-10-14 23:00:20 2313931 2020-10-15 16:46:42       0
  3     1        9  209715200    512  2 NO  CURRENT    2313931 2020-10-15 16:46:42   9.2954E+18         0
SQL> SQL> 
    GROUP# STATUS   TYPE   MEMBER          IS_REC     CON_ID
---------- -------------- -------------- -------------------------------------------------- ------ ----------
  3    ONLINE  +DATA/DBOGG/ONLINELOG/group_3.292.1053792505     NO      0
  3    ONLINE  +DATA/DBOGG/ONLINELOG/group_3.294.1053792507     YES      0
  2    ONLINE  +DATA/DBOGG/ONLINELOG/group_2.291.1053792505     NO      0
  2    ONLINE  +DATA/DBOGG/ONLINELOG/group_2.295.1053792507     YES      0
  1    ONLINE  +DATA/DBOGG/ONLINELOG/group_1.290.1053792505     NO      0
  1    ONLINE  +DATA/DBOGG/ONLINELOG/group_1.293.1053792507     YES      0
6 rows selected.


online redo同时在asm磁盘和本地文件系统

alter database add logfile member '/u01/app/oracle/redo12.log' to group 1;
 alter database add logfile member '/u01/app/oracle/redo22.log' to group 2;
alter database add logfile member '/u01/app/oracle/redo32.log' to group 3;
       GROUP# STATUS   TYPE   MEMBER          IS_REC     CON_ID
---------- -------------- -------------- -------------------------------------------------- ------ ----------
  3    ONLINE  +DATA/DBOGG/ONLINELOG/group_3.292.1053792505     NO      0
  3    ONLINE  +DATA/DBOGG/ONLINELOG/group_3.294.1053792507     YES      0
  2    ONLINE  +DATA/DBOGG/ONLINELOG/group_2.291.1053792505     NO      0
  2    ONLINE  +DATA/DBOGG/ONLINELOG/group_2.295.1053792507     YES      0
  1    ONLINE  +DATA/DBOGG/ONLINELOG/group_1.290.1053792505     NO      0
  1    ONLINE  +DATA/DBOGG/ONLINELOG/group_1.293.1053792507     YES      0
  1    ONLINE  /u01/app/oracle/redo12.log       NO      0
  2    ONLINE  /u01/app/oracle/redo22.log       NO      0
  3    ONLINE  /u01/app/oracle/redo32.log       NO      0
alter database drop logfile member '/u01/app/oracle/redo12.log' ;
 alter database drop logfile member '/u01/app/oracle/redo22.log' ;
alter database drop logfile member '/u01/app/oracle/redo32.log';



抽取进程没有配置到asm磁盘的链接和api接口时

日志报错

2020-10-15T17:45:24.060+0800  ERROR   OGG-02828  Oracle GoldenGate Capture for Oracle, ext1.prm:  Not able to establish initial position for sequence 15, rba 294,928, No valid log files for current redo sequence 15, thread 1, error retrieving redo file name for sequence 15, archived = 0, use_alternate = 0.
2020-10-15T17:45:24.070+0800  ERROR   OGG-01668  Oracle GoldenGate Capture for Oracle, ext1.prm:  PROCESS ABENDING.
2020-10-15T17:46:43.081+0800  INFO    OGG-00987  Oracle GoldenGate Command Interpreter for Oracle:  GGSCI command (oracle): info all.


抽取进程终止!


GGSCI (oledb.scutech) 6> info all
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     STOPPED     EXT1        00:00:00      00:01:43    
EXTRACT     RUNNING     PUMP1       00:00:00      00:00:08

 


抽取进程配置 asm实例的链接测试

修改文件/u01/app/oracle/product/19.0.0/db_1/network/admin/tnsnames.ora

增加:


ASM =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = oledb.scutech)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = +asm)
    )
  )


测试 sqlplus sys/dingjia@asm as sysasm


抽取进程配置如下参数:

GGSCI (oledb.scutech) 10> view param ext1
extract ext1 
SETENV(ORACLE_SID='dbogg')
userid ogg,password dingjia 
exttrail /u01/app/oracle/ogg19/dirdat/et 
table scutech.*;
TranlogOptions ASMUser sys@ASM, ASMPassword dingjia


online redo只在asm磁盘时测试正常


GSCI (oledb.scutech) 8> start ext1
Sending START request to MANAGER ...
EXTRACT EXT1 starting
GGSCI (oledb.scutech) 9> info all
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXT1        00:00:00      00:00:07    
EXTRACT     RUNNING     PUMP1       00:00:00      00:00:05


online redo同时在asm磁盘和本地文件系统,测试正常,数据能正常同步!


抽取进程配置asm的api接口(DBLOGREADER)

抽取进程配置如下参数:

GGSCI (oledb.scutech) 6> view param ext1
extract ext1 
SETENV(ORACLE_SID='dbogg')
userid ogg,password dingjia 
exttrail /u01/app/oracle/ogg19/dirdat/et 
table scutech.*;
TranlogOptions DBLOGREADER


online redo只在asm磁盘时和同时在asm磁盘和本地文件系统,都测试正常,数据能正常同步!


相关文章
|
10月前
|
人工智能 安全 API
Higress MCP Server 安全再升级:API 认证为 AI 连接保驾护航
Higress MCP Server 新增了 API 认证功能,为 AI 连接提供安全保障。主要更新包括:1) 客户端到 MCP Server 的认证,支持 Key Auth、JWT Auth 和 OAuth2;2) MCP Server 到后端 API 的认证,增强第二阶段的安全性。新增功能如可重用认证方案、工具特定后端认证、透明凭证透传及灵活凭证管理,确保安全集成更多后端服务。通过 openapi-to-mcp 工具简化配置,减少手动工作量。企业版提供更高可用性保障,详情参见文档链接。
1233 42
|
8月前
|
运维 Prometheus 监控
云原生 API 网关 x OKG:游戏连接治理的「最后一公里」
本文介绍了云原生技术在游戏连接治理中的应用,重点探讨了如何通过 OpenKruiseGame(OKG)与云原生 API 网关的结合,实现游戏服务的优雅下线与无感配置变更。文章分析了游戏服务的强状态特性所带来的挑战,并提出了基于状态感知与连接管理的解决方案,保障玩家会话的连续性与体验的稳定性。同时,还介绍了如何通过零改造接入、全栈可观测性与简化的 API 治理,缩短游戏服务云原生化的“最后一公里”。
355 4
|
8月前
|
Java 分布式数据库 Docker
使用Docker配置并连接HBase的Java API
本流程概要的解释了如何在Docker上配置并启动HBase服务,并通过Java API进行连接和操作表,不涉及具体的业务逻辑处理和数据模型设计,这些因应用而异需由开发者根据实际需求进行实现。
376 13
|
8月前
|
运维 Prometheus 监控
API 网关 x OKG:游戏连接治理的「最后一公里」
本文介绍了 API 网关与 OpenKruiseGame(OKG)结合,在云原生游戏场景中实现连接治理“最后一公里”的解决方案。针对游戏服务的有状态特性,该方案通过精细化流量管理和无感变更能力,保障玩家会话连续性,提升运维效率,助力游戏服务实现优雅下线、配置动态更新等功能,同时提供零改造接入和全栈可观测性,显著优化游戏体验与开发运维流程。
374 0
|
9月前
|
XML JSON API
API接口——连接世界,让你的数据畅通无阻!
API(应用程序编程接口)是连接不同软件系统的桥梁,如同数字世界的“万能适配器”。它通过标准化协议(如RESTful)和数据格式(如JSON/XML),实现前端请求与后端服务的无缝交互。API不仅提升了系统间的协作效率,还通过OAuth 2.0等技术保障安全性,并支持流量管控以优化性能。其应用场景广泛,包括金融科技、物联网、电子商务和社会化平台,为企业带来显著效益,如降低成本、提升响应速度和用户增长。未来,API将向智能化、微服务化、低代码集成和隐私计算方向发展,成为构建数字生态的核心技术,助力万物互联时代的创新与发展。
1288 1
|
9月前
|
搜索推荐 安全 API
聚合电商API:一键连接多平台数据
聚合电商API接口平台整合淘宝、天猫、京东等多平台API,提供一站式数据服务。核心功能包括数据整合、多平台搜索、详细解析与定制化服务,助力商家高效管理订单、优化商品推荐及支持数据驱动决策。平台注重智能化、个性化与全渠道发展,保障数据安全,推动业务增长。
1046 2
|
12月前
|
人工智能 JavaScript 测试技术
构建智能 API 开发环境:在 Cursor 中连接 Apifox MCP Server
本文介绍了如何将Apifox MCP Server与Cursor结合,通过AI直接获取和理解API文档,大幅提升开发效率。首先需配置Apifox的Access Token和项目ID,并在Cursor中设置MCP连接。实际应用场景包括快速生成模型代码、同步更新接口文档与代码、生成CRUD操作、搜索API文档及自动生成测试用例。此外,还提供了管理多项目、安全性实践和优化AI响应质量的技巧。这种组合可显著减少从API规范到代码实现的时间,降低错误率并加速迭代过程,为开发者带来更高效的体验。
|
安全 API 网络安全
【Azure API 管理】APIM不能连接到 App Service (APIM cannot connect to APP service)
【Azure API 管理】APIM不能连接到 App Service (APIM cannot connect to APP service)
220 3
|
Java API 开发者
|
JSON 搜索推荐 API
深入了解亚马逊商品详情API:功能、作用与实例
亚马逊商品详情API接口由官方提供,允许开发者通过程序调用获取商品详细信息,如标题、价格等,适用于电商数据分析、搜索及个性化推荐等场景。接口名称包括ItemLookup、GetMatchingProductForId等,支持HTTP POST/GET请求,需提供商品ID、API密钥及其他可选参数。返回数据格式通常为JSON或XML,涵盖商品详情、分类、品牌、价格、图片URL及用户评价等。该接口对数据收集、实时推荐、营销活动及数据分析至关重要,有助于提升电商平台的数据处理能力、用户体验及商家运营效率。使用时需注册亚马逊开发者账号并申请API访问权限,获取API密钥后按文档构建请求并处理响应数据。