有没有大佬在使用flinkcdc同步oracle数据的时候遇到过类似的问题?

在使用 Flink CDC 同步 Oracle 数据时，可能会遇到一些常见问题。以下是基于知识库资料的详细解答和解决方案：

1. 任务运行报错：ORA-00942: table or view does not exist

问题原因：
这是由于 Oracle CDC 2.4 的一个已知 bug，底层原因是 UPDATE LOG_MINING_FLUSH SET LAST_SCN = 操作失败，导致表 LOG_MINING_FLUSH 不存在。

解决方案：
需要手动在 CDB 实例中重建 LOG_MINING_FLUSH 表。具体操作如下：

-- 切换到CDB实例
ALTER SESSION SET CONTAINER = CDB$ROOT;

-- 建表并写入数据
CREATE TABLE LOG_MINING_FLUSH(LAST_SCN NUMBER(19,0));
INSERT INTO LOG_MINING_FLUSH VALUES (0);

2. 表名长度超过30个字符

问题原因：
Oracle LogMiner 对表名和列名的长度有限制，表名或列名超过30个字符时会导致无法捕获数据。

解决方案：
确保需要采集的表名和列名长度均不超过30个字符。如果表名过长，建议重命名表或调整同步逻辑。

3. 运行日志报错：DataException: file is not a valid field name

问题原因：
Flink 中字段的名字大小写与 Oracle 表中的字段不一致，导致无法匹配列名。

解决方案：
确保 Flink 中字段的名字大小写与 Oracle 表完全一致。例如，如果 Oracle 表中字段名为 file，则 Flink 中也需要定义为 file。

4. 数据读取效率低

问题原因：
Oracle CDC 的架构问题可能导致读取效率较低，尤其是在大数据量场景下。主要原因是： - 需要加载和分析大量的 archiveLog 和 onlineLog 文件。 - 调用 DBMS_LOGMNR.START_LOGMNR 分析日志文件的过程较慢。 - 从 V$LOGMNR_CONTENTS 中读取分析后的数据也较慢。

优化建议：
- 使用 Dataphin 实时集成工具，其在部分大数据量场景下性能表现更优。 - 减少不必要的日志分析范围，优化 startScn 和 endScn 的设置。 - 确保数据库有足够的资源支持在线字典的加载。

5. 权限问题

问题原因：
Oracle CDC 的权限配置较为复杂，尤其是 CDB 模式和非 CDB 模式的权限要求不同。

排查方法：
1. 查询当前账户：

SELECT USER FROM DUAL;

1. 检查用户的系统权限和表权限：

   SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER';
   SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER';
   

解决方案：
根据实际环境（CDB 或非 CDB 模式），按照文档正确配置权限。

6. Flink CDC 连接数打满

问题原因：
可能是由于并发数设置过高或连接池 Size 设置过大，占用了大量连接数。

解决方案：
- 降低作业并发数。 - 减小连接池 Size。 - 优化 SQL 逻辑，尝试使用 CDAS（Change Data Capture as a Service）来复用连接。

7. 增量数据同步问题

问题原因：
如果业务上没有区分新增、修改数据的字段，Oracle Reader 无法进行增量数据同步。

解决方案：
- 在数据库中添加时间戳字段（如 modify_time），并在同步时通过 WHERE 条件指定时间范围。 - 对于自增 ID 类型的数据，可以通过 WHERE 条件指定上一阶段的最大 ID。

8. Flink CDC 配置示例

以下是一个通过 Flink CDC 同步 Oracle 数据的完整示例：

<FLINK_HOME>/bin/flink run \
 -Dexecution.checkpointing.interval=10s \
 -Dparallelism.default=1 \
 -c org.apache.doris.flink.tools.cdc.CdcTools \
 lib/flink-doris-connector-1.16-1.5.2.jar \
 oracle-sync-database \
 -database test_db \
 -oracle-conf hostname=127.0.0.1 \
 -oracle-conf port=1521 \
 -oracle-conf username=admin \
 -oracle-conf password="password" \
 -oracle-conf database-name=XE \
 -oracle-conf schema-name=ADMIN \
 -including-tables "tbl1|test.*" \
 -sink-conf fenodes=selectdb-cn-****.selectdbfe.rds.aliyuncs.com:8080 \
 -sink-conf username=admin \
 -sink-conf password=****

重要提醒

• 权限配置：确保按照 CDB 或非 CDB 模式正确配置权限，避免因权限不足导致任务失败。
• 表名限制：表名和列名长度不得超过30个字符。
• 性能优化：对于大数据量场景，建议使用 Dataphin 实时集成工具以提升性能。

希望以上内容能够帮助您解决 Flink CDC 同步 Oracle 数据时遇到的问题！