Flink CDC里读Oracle，这个bug怎么解决？

在使用Flink CDC读取Oracle数据时，可能会遇到一些已知问题或Bug。以下是针对常见问题的解决方案，结合知识库中的信息进行详细说明：

1. Oracle CDC版本相关问题

• 问题描述：Flink CDC在读取Oracle数据时，可能因CDC版本不匹配导致异常。
• 解决方案：
  • 如果您使用的是阿里云Dataphin产品：
  • 在Dataphin V3.13版本之前，默认使用的是Oracle CDC 2.3版本。
  • 在Dataphin V3.13及之后版本，默认使用的是Oracle CDC 2.4版本。
  • 确保您的Flink CDC版本与Oracle CDC版本兼容。如果需要升级，请参考官方文档完成版本更新。

2. 表不存在错误（ORA-00942）

• 问题描述：任务运行时出现ORA-00942: table or view does not exist错误。
• 原因分析：这是Oracle CDC 2.4版本的一个已知Bug，可能导致LOG_MINING_FLUSH表缺失。
• 解决方案：
  • 手动在CDB实例中重建LOG_MINING_FLUSH表。
  • 具体操作步骤如下：
  • 登录到CDB实例。
  • 执行以下SQL语句以创建表：

    CREATE TABLE LOG_MINING_FLUSH (
       ID NUMBER GENERATED BY DEFAULT AS IDENTITY PRIMARY KEY,
       FLUSH_TIME TIMESTAMP DEFAULT SYSTIMESTAMP
    );
    

  • 确保表创建成功后，重新启动Flink CDC任务。

3. 表名长度超限

• 问题描述：任务运行时提示表名长度超过30个字符。
• 原因分析：Oracle LogMiner对表名和列名的长度有限制，最大长度为30个字符。
• 解决方案：
  • 限制表名和列名长度：确保所有表名和列名的长度不超过30个字符。
  • 如果无法修改表结构，可以通过视图映射的方式解决：
  • 创建一个符合长度限制的视图。
  • 配置Flink CDC读取该视图而非原始表。

4. 字段名大小写不匹配

• 问题描述：运行日志报错DataException: file is not a valid field name。
• 原因分析：Flink中字段的大小写与Oracle表中的字段大小写不一致。
• 解决方案：
  • 确保字段大小写一致：检查Flink SQL作业中定义的字段名称，确保其与Oracle表中的字段名称完全一致（包括大小写）。
  • 如果Oracle表字段名称包含特殊字符或大小写敏感，建议使用双引号包裹字段名，例如：

  SELECT "FieldName" FROM your_table;
  

5. 数据读取效率低

• 问题描述：日志能够读取到Oracle LogMiner的数据，但实际数据读取效率较低。
• 原因分析：可能是由于LogMiner配置不当或大数据量场景下的性能瓶颈。
• 解决方案：
  • 优化LogMiner配置：
  • 确保debezium.database.pdb.name参数正确配置（适用于PDB模式）。
  • 检查max_wal_senders和max_replication_slots参数值是否足够大。
  • 使用Dataphin实时集成：根据知识库建议，Dataphin实时集成在大数据量场景下的性能表现更优，建议切换至Dataphin进行实时数据集成。

6. 权限配置问题

• 问题描述：任务运行时提示权限不足或无法访问某些资源。
• 解决方案：
  • 检查用户权限：
  • 使用以下SQL命令查询当前用户的权限：

    SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER';
    SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER';
    

  • 确保用户具有以下权限：
    • SELECT权限：用于读取目标表数据。
    • LOGMINING权限：用于启用LogMiner功能。
    • EXECUTE权限：用于执行相关存储过程。
  • 切换CDB和PDB：
  • 如果使用PDB模式，需先切换到目标容器：

    ALTER SESSION SET CONTAINER = CDB$ROOT;
    

7. 其他排查方法

如果上述解决方案仍无法解决问题，可以尝试以下排查方法： - 检查补偿日志是否开启：

SELECT * FROM dba_log_groups WHERE table_name = 'PF_ID_NAME_PK';

• 获取当前SCN：

  SELECT CURRENT_SCN FROM V$DATABASE;
  

• 查看日志文件：启用Debug日志，检查是否存在依赖冲突或其他异常。

重要提醒

• 依赖冲突问题：Flink作业中可能存在log4j等依赖冲突，建议通过maven-shade-plugin对冲突类进行重定位。
• 社区版CDC连接器限制：如果您使用的是社区版CDC连接器，请注意其SLA和服务支持由开源社区提供，阿里云不提供技术支持。

通过以上步骤，您可以有效解决Flink CDC读取Oracle时的常见问题。如果问题仍未解决，请提供更多上下文信息以便进一步分析。