flink-cdc oracle 升级到2.4.x后无法获取到数据，哪位知道是啥问题吗？

在使用 Flink CDC Oracle 2.4.x 版本时，如果升级后无法获取到数据，可能是由于以下几个原因导致的。以下是详细的排查步骤和解决方案：

1. 确认Oracle LogMiner配置是否正确

• 问题描述：Oracle CDC 2.4.x 使用 LogMiner 技术读取数据库日志。如果 LogMiner 配置不正确，可能导致无法读取数据。
• 解决方案：
  1. 确保 Oracle 数据库已启用补充日志（Supplemental Logging）。

     ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
     

  2. 检查目标表是否启用了主键补充日志：

     ALTER TABLE your_table ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;
     

  3. 如果是多租户模式（CDB/PDB），需要确保 debezium.database.pdb.name 参数已正确配置。

2. 检查表名和字段名长度限制

• 问题描述：Oracle LogMiner 对表名和字段名的长度有限制，超过 30 个字符可能导致读取失败。
• 解决方案：
  • 确保表名和字段名长度不超过 30 个字符。
  • 如果表名或字段名超长，建议重命名以符合限制。

3. 字段名大小写匹配问题

• 问题描述：Flink 中字段的大小写必须与 Oracle 表中的字段完全一致，否则可能导致数据无法读取。
• 解决方案：
  • 检查 Flink DDL 中定义的字段名是否与 Oracle 表中的字段名大小写一致。
  • 如果 Oracle 表字段名包含大小写混合，建议在 Flink DDL 中使用双引号明确指定字段名，例如：

    CREATE TABLE your_table (
       "YourField" STRING,
       ...
    ) WITH (...);
    

4. 重建缺失的系统表

• 问题描述：Oracle CDC 2.4 存在一个已知问题，可能导致 LOG_MINING_FLUSH 表缺失，从而影响数据读取。
• 解决方案：
  • 手动在 CDB 实例中重建 LOG_MINING_FLUSH 表。
  • 可参考以下 SQL 脚本重建表：

    CREATE TABLE LOG_MINING_FLUSH (
       ID NUMBER GENERATED BY DEFAULT AS IDENTITY PRIMARY KEY,
       FLUSH_TIME TIMESTAMP DEFAULT SYSTIMESTAMP
    );
    

5. 检查权限配置

• 问题描述：Oracle 用户权限不足可能导致 LogMiner 无法正常工作。
• 解决方案：
  1. 确保用户具有以下权限：

     GRANT SELECT ANY TRANSACTION TO your_user;
     GRANT EXECUTE ON DBMS_LOGMNR TO your_user;
     GRANT SELECT ON V$LOGMNR_CONTENTS TO your_user;
     

  2. 如果是多租户模式（CDB/PDB），还需确保用户在 CDB 和 PDB 中均具有相应权限。

6. 排查数据读取效率问题

• 问题描述：即使 LogMiner 日志能够被读取，但如果数据量较大，可能导致读取效率低下。
• 解决方案：
  • 建议使用 Dataphin 实时集成工具，其在大数据量场景下的性能表现更优。
  • 如果仍使用 Flink CDC，可以尝试调整以下参数优化性能：

    debezium.log.mining.strategy=online_catalog
    debezium.log.mining.batch.size=1000
    

7. 检查Flink版本兼容性

• 问题描述：Flink 1.16 与 Oracle CDC 2.4.x 的兼容性可能存在潜在问题。
• 解决方案：
  • 确保使用的 Flink CDC Connector 版本与 Flink 1.16 兼容。
  • 如果问题仍未解决，可以尝试降级到 Oracle CDC 2.3.x 版本进行测试。

8. 查看日志定位具体问题

• 问题描述：通过日志可以快速定位问题根因。
• 解决方案：
  1. 查看 Flink TaskManager 日志，查找异常信息。
  2. 如果日志中出现类似 DataException: file is not a valid field name 的错误，说明字段名不匹配，需按上述第 3 点处理。

总结

以上是针对 Flink CDC Oracle 2.4.x 升级后无法获取数据的常见问题及解决方案。建议按照以下顺序逐步排查： 1. 检查 LogMiner 配置和权限。 2. 确认表名和字段名长度及大小写匹配。 3. 重建缺失的系统表。 4. 优化数据读取效率。 5. 查看日志定位具体问题。

如果问题仍未解决，请提供更多详细日志信息以便进一步分析。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。