Dataphin实时集成Oracle CDC相关问题排查

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 本文档提供了Dataphin平台Oracle CDC实时集成相关问题排查指南,覆盖了权限等常见问题,旨在帮助快速定位和解决Oracle数据库变更数据捕获(CDC)集成过程中所可能遇到的技术难题,确保数据的实时、准确同步。

背景

本文档提供了Dataphin平台Oracle CDC实时集成相关问题排查指南,覆盖了权限等常见问题,旨在帮助快速定位和解决Oracle数据库变更数据捕获(CDC)集成过程中所可能遇到的技术难题,确保数据的实时、准确同步。

版本说明

DataphinV3.13版本前实时集成的Oracle CDC版本是2.3,V3.13版本后实时集成的Oracle CDC版本是2.4

问题排查

权限问题

很多问题都是权限导致的,首先确保一定按照自己的数据库(CDB,容器数据库(Container Database)模式、非CDB模式)环境,配置好Oracle的配置。

参考:https://ververica.github.io/flink-cdc-connectors/release-2.4/content/connectors/Oracle CDC.html

对照参考一下debezium的文档:https://debezium.io/documentation/reference/1.9/connectors/oracle.html#oracle-connector-properties

说明:Oracle CDC的权限项目比较多,CDB模式和非CDB模式的权限有不同,请先按照文档配置。

查询用户的权限用如下命令:

-- 查询当前账户:
select user from dual;
SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER';
SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER';


常见问题

  1. 任务运行报错:Oracle LogMiner 不支持在PDB,可插拔数据库(Pluggable Databases)上执

原因:在CDB数据库中,读取PDB的补偿日志,需要额外配置参数:debezium.database.pdb.name


  1. 任务运行报错:ORA-00942: table or view does not exist,深层原因是: UPDATE LOG_MINING_FLUSH SET LAST_SCN =

原因:Oracle CDC 2.4的一个bug,参考:https://github.com/apache/flink-cdc/issues/3044

方案:需要手动去CDB的数据库中,切换到CDB实例,把LOG_MINING_FLUSH重建一下。

-- 切换到CDB实例
ALTER SESSION SET CONTAINER = CDB$ROOT;
-- 建表并写入数据
CREATE TABLE LOG_MINING_FLUSH(LAST_SCN NUMBER(19,0));
INSERT INTO LOG_MINING_FLUSH VALUES (0);


  1. 任务运行报错:表名长度超过30个字符(Table 'xxx' won't be captured by Oracle LogMiner because its name exceeds 30 characters

原因:Oracle LogMiner 的限制,参考文档:https://docs.oracle.com/en/database/oracle/oracle-database/21/sutil/oracle-logminer-utility.html#GUID-7594F0D7-0ACD-46E6-BD61-2751136ECDB4

方案:目前只能绕过,对于需要采集的表,请限制表名和列名都<=30个字符。


  1. 运行日志报错:DataException: file is not a valid field name

原因:Oracle LogMiner日志中有数据的字段的名字是file,没有定义在Oracle LogMiner的表的schema中,导致找不到列,报错。

方案:保持Flink中字段的名字大小写和Oracle上的表完全一样


  1. 任务运行正常,看日志也读取到Oracle的Oracle LogMiner数据了,但是无法读取到数据。

原因:Oracle CDC的读取效率比较低。具体原理如下:

-- 每次读取都按照如下步骤操作
1. 获取每次读取的startScn和endScn
2. 找出包含startScn的所有的archiveLog和onlineLog文件(>=startScn都会加载)
3. 调用Oracle LogMiner分析这些文件,用DBMS_LOGMNR.START_LOGMNR分析 (这个步骤很慢)
4. 从V$LOGMNR_CONTENTS中读取分析后的cdc数据 (这个读取步骤也比较慢)

当数据量比较大的时候,会导致Oracle CDC读取的数据更慢(因为存在数据重复分析)。而且Oracle CDC使用了在线字典,会有额外的资源开销。

案例:Oracle CDC读取速率慢。原因是数据量比较大,endScn进度很慢,导致每次会用START_LOGMNR重复分析日志文件。最终越分析越慢。

这个是Oracle CDC的架构问题,无法解决。建议使用Dataphin实时集成。实时集成在部分大数据量的场景下,性能表现良好,已在某企业生产环境得到验证。


分析方法

常用命令:

-- 切换CDB和PDB
ALTER SESSION SET CONTAINER = CDB$ROOT;
-- 查询当前用户
select user from dual;
-- 查询补偿日志是否开启
select * from dba_log_groups where table_name = 'PF_ID_NAME_PK';
-- 查询用户权限
SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER';
SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER';
-- 获取当前scn
SELECT CURRENT_SCN FROM V$DATABASE

补偿日志分析:

-- 分析补偿日志
BEGIN
  DBMS_LOGMNR.ADD_LOGFILE(LOGFILENAME => '/opt/oracle/product/19c/dbhome_1/dbs/arch1_83_1158061769.dbf', OPTIONS => DBMS_LOGMNR.NEW);
  DBMS_LOGMNR.ADD_LOGFILE(LOGFILENAME => '/opt/oracle/oradata/ORCLCDB/redo01.log', OPTIONS => DBMS_LOGMNR.ADD_FILE);
  DBMS_LOGMNR.START_LOGMNR(Options => DBMS_LOGMNR.DICT_FROM_ONLINE_CATALOG);
END;
-- 停止日志分析
exec DBMS_LOGMNR.END_LOGMNR();
-- 查询补偿日志内容,里面会有变更记录
SELECT SEG_NAME,TIMESTAMP,OPERATION FROM V$LOGMNR_CONTENTS WHERE SEG_NAME = 'PF_ID_NAME_PK' ORDER BY TIMESTAMP;

补偿日志文件名获取

-- 查看online log文件名
查看logfile文件名:
SELECT V$LOGFILE.MEMBER                                                                                  NAME,
       V$LOG.THREAD#                                                                                     THREAD_NUMBER,
       V$LOG.SEQUENCE#                                                                                   SEQUENCE_NUMBER,
       V$LOG.FIRST_CHANGE#                                                                               FIRST_CHANGE_NUMBER,
       LEAD(V$LOG.FIRST_CHANGE#, 1, 281474976710655)
            OVER (ORDER BY V$LOG.SEQUENCE#)                                                              NEXT_CHANGE_NUMBER,
       TO_CHAR(V$LOG.FIRST_TIME, 'YYYY-MM-DD HH24:MI:SS')                                                FIRST_TIME,
       TO_CHAR(LEAD(V$LOG.FIRST_TIME, 1, NULL) OVER (ORDER BY V$LOG.SEQUENCE#), 'YYYY-MM-DD HH24:MI:SS') NEXT_TIME,
       0                                                                                                 BLOCK_SIZE,
       V$LOG.BYTES                                                                                       BYTES,
       V$LOG.GROUP#                                                                                      GROUP_NUMBER,
       V$LOG.MEMBERS                                                                                     MEMBERS,
       V$LOG.ARCHIVED                                                                                    ARCHIVED,
       V$LOG.STATUS                                                                                      STATUS
FROM V$LOG,
     V$LOGFILE
WHERE (V$LOG.STATUS = 'CURRENT' OR V$LOG.STATUS = 'ACTIVE' OR V$LOG.STATUS = 'INACTIVE')
  AND V$LOG.GROUP# = V$LOGFILE.GROUP#
  AND V$LOG.THREAD# = 1
ORDER BY V$LOG.SEQUENCE#;
------------------查询archive log
SELECT NAME,
       THREAD#                                      THREAD_NUMBER,
       SEQUENCE#                                    SEQUENCE_NUMBER,
       FIRST_CHANGE#                                FIRST_CHANGE_NUMBER,
       NEXT_CHANGE#                                 NEXT_CHANGE_NUMBER,
       TO_CHAR(FIRST_TIME, 'YYYY-MM-DD HH24:MI:SS') FIRST_TIME,
       TO_CHAR(NEXT_TIME, 'YYYY-MM-DD HH24:MI:SS')  NEXT_TIME,
       BLOCK_SIZE,
       BLOCKS,
       DEST_ID,
       RESETLOGS_ID,
       RESETLOGS_CHANGE#                            RESETLOGS_CHANGE_NUMBER,
       RESETLOGS_TIME,
       STATUS,
       CREATOR,
       REGISTRAR,
       APPLIED,
       FAL,
       DELETED
FROM V$ARCHIVED_LOG
WHERE NAME IS NOT NULL
  AND STATUS = 'A'
  AND DELETED = 'NO'
  AND ARCHIVED = 'YES'
  AND STANDBY_DEST = 'NO'
--   AND THREAD# = 1
--   AND RESETLOGS_ID = 1158061769
  AND FIRST_TIME <= TO_TIMESTAMP('2024-02-22 11:30:00', 'yyyy-MM-dd hh24:mi:ss')
  AND NEXT_TIME > TO_TIMESTAMP('2024-02-22 12:00:00', 'yyyy-MM-dd hh24:mi:ss');


总结

本文档提供了一套Oracle CDC集成问题排查框架,旨在帮助高效地识别和解决在Dataphin实时集成中可能遇到的问题。通过本文档的指导,帮助实现数据在Oracle数据库与Dataphin平台间的准确、实时同步。如有其他问题可联系@朱健 (平丰)@唐晓旭 (小续)







相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
DataWorks API 数据库
DataWorks操作报错合集之在使用 OceanBase (OB) 作为数据源进行数据集成时遇到报错,该如何排查
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
算法 API Apache
Flink CDC:新一代实时数据集成框架
本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享,涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架,能高效完成全量和增量数据的实时同步。自 2020 年以来,Flink CDC 经过多次迭代,已成为功能强大的实时数据集成工具,支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。
587 1
Flink CDC:新一代实时数据集成框架
|
6月前
|
SQL Oracle 关系型数据库
oracle11g SAP测试机归档日志暴增排查(二)
oracle11g SAP测试机归档日志暴增排查(二)
326 1
|
6月前
|
消息中间件 关系型数据库 Kafka
实时计算 Flink版产品使用合集之oracle cdc 抽取新增一张表 可以从savepoint恢复吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
SQL 分布式计算 BI
Dataphin中集成SelectDB以支持报表分析和API查询
本文介绍了一家零售企业如何利用SelectDB进行BI分析及数据服务API的查询。通过Dataphin的数据集成、SQL研发等功能,将CRM、ERP等系统数据汇聚加工,并推送至SelectDB构建销售数据集市层,以支持报表分析及API查询。SelectDB具备实时、统一、弹性及开放特性,适用于多种实时分析场景。文章详细描述了在Dataphin中集成SelectDB的整体方案、数据源配置、数据集成、数据开发及数据服务流程。
120 0
|
4月前
|
关系型数据库 API Apache
Flink CDC:基于 Apache Flink 的流式数据集成框架
本文整理自阿里云 Flink SQL 团队研发工程师于喜千(yux)在 SECon 全球软件工程技术大会中数据集成专场沙龙的分享。
18210 11
Flink CDC:基于 Apache Flink 的流式数据集成框架
|
4月前
|
SQL JSON 缓存
玳数科技集成 Flink CDC 3.0 的实践
本文投稿自玳数科技工程师杨槐老师,介绍了 Flink CDC 3.0 与 ChunJun 框架在玳数科技的集成实践。
591 7
玳数科技集成 Flink CDC 3.0 的实践
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验!API数据源接入与集成优化,如何让企业轻松驾驭海量异构数据,实现数据价值最大化?全面解析、实战案例、专业指导,带你解锁数据整合新技能!
【8月更文挑战第15天】随着大数据技术的发展,企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力,支持 MySQL、Oracle、Hive 等多种数据源,增强 RESTful 和 SOAP API 支持,简化外部数据服务集成。例如,可轻松从 RESTful API 获取销售数据并存储分析。此外,Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能,确保数据质量和一致性,助力企业最大化数据价值。
170 1
|
3月前
|
缓存 NoSQL 网络安全
【Azure Redis 缓存】Redis连接无法建立问题的排查(注:Azure Redis集成在VNET中)
【Azure Redis 缓存】Redis连接无法建立问题的排查(注:Azure Redis集成在VNET中)
|
3月前
|
Kubernetes 监控 Shell
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?
在K8S中,我们公司用户反应pod连接数非常多,希望看一下这些连接都是什么信息?什么状态?怎么排查?容器里面没有集成bash环境、网络工具,怎么处理?

热门文章

最新文章

推荐镜像

更多