Flink CDC中oracle cdc老出现这个错？

在使用Flink CDC进行Oracle CDC时，可能会遇到一些常见错误。以下是针对这些错误的详细分析和解决方案：

1. Oracle LogMiner不支持PDB

• 问题描述：任务运行报错，提示“Oracle LogMiner不支持在PDB上执行”。
• 原因分析：当在CDB（Container Database）中读取PDB（Pluggable Database）的补偿日志时，未正确配置相关参数。
• 解决方案：
  • 需要在配置中添加debezium.database.pdb.name参数，指定目标PDB的名称。
  • 示例配置：

  debezium.database.pdb.name=<your_pdb_name>
  

2. 表不存在错误 (ORA-00942)

• 问题描述：任务运行报错，提示“ORA-00942: table or view does not exist”。
• 原因分析：这是Oracle CDC 2.4版本的一个已知Bug，可能由于LOG_MINING_FLUSH表未正确创建或丢失导致。
• 解决方案：
  • 手动在CDB实例中重建LOG_MINING_FLUSH表。
  • 确保用户权限足够，能够访问该表。

3. 表名长度超限

• 问题描述：任务运行报错，提示“表名长度超过30个字符”。
• 原因分析：Oracle LogMiner对表名和列名的长度有限制，不能超过30个字符。
• 解决方案：
  • 限制表名和列名长度，确保其不超过30个字符。
  • 如果无法修改表名，可以通过别名映射的方式解决。

4. 字段名不匹配

• 问题描述：运行日志报错，提示“DataException: file is not a valid field name”。
• 原因分析：Flink中字段的大小写与Oracle表中的字段大小写不一致。
• 解决方案：
  • 确保字段大小写完全一致，包括表名和列名。
  • 如果字段名包含特殊字符或大小写敏感，建议在SQL中使用双引号明确指定字段名。

5. 数据读取效率低

• 问题描述：日志能读取到Oracle LogMiner数据，但实际数据读取效率较低。
• 原因分析：可能是由于大数据量场景下，LogMiner的性能瓶颈导致。
• 解决方案：
  • 建议使用Dataphin实时集成，其在大数据量场景下的性能表现更优。
  • 调整Flink作业的并行度和Checkpoint间隔，优化读取性能。

6. Binlog数据量过大导致带宽消耗高

• 问题描述：即使数据更新量不大，Flink读取时仍消耗大量带宽。
• 原因分析：MySQL的Binlog是实例级别的，会记录所有数据库和表的变更，而不仅仅是目标表的变更。
• 解决方案：
  • 开启CDC Source复用，避免重复读取Binlog数据。
  • 在Debezium或Flink CDC连接器层面配置过滤规则，仅读取特定表的变更记录。

7. 增量阶段读取的timestamp字段时区相差8小时

• 问题描述：增量阶段读取的timestamp字段时区与预期不符，相差8小时。
• 原因分析：CDC作业中未正确配置server-time-zone参数，导致时区解析错误。
• 解决方案：
  • 在CDC作业中配置server-time-zone参数，确保与MySQL服务器时区一致。
  • 示例配置：

  server-time-zone=Asia/Shanghai
  

  • 如果使用自定义序列化器，需在serverTimeZone处给定时区信息。

8. 故障时投递重复的变更事件

• 问题描述：在非正常情况下（如故障发生），可能会出现重复的变更事件。
• 原因分析：Debezium、Canal等工具在故障时只能保证at-least-once语义，可能导致重复投递。
• 解决方案：
  • 将作业参数table.exec.source.cdc-events-duplicate设置为true。
  • 在源表上定义PRIMARY KEY，Flink会生成额外的有状态算子，用于去重并生成规范化的changelog流。

9. 其他排查方法

如果上述问题仍未解决，可以尝试以下排查步骤： - 检查Oracle权限：确保按照数据库环境（CDB模式、非CDB模式）正确配置Oracle权限。 - 常用SQL命令： - 切换CDB和PDB： sql ALTER SESSION SET CONTAINER = CDB$ROOT; - 查询当前用户： sql SELECT USER FROM DUAL; - 查询补偿日志是否开启： sql SELECT * FROM DBA_LOG_GROUPS WHERE TABLE_NAME = 'PF_ID_NAME_PK'; - 查询用户权限： sql SELECT * FROM DBA_SYS_PRIVS WHERE GRANTEE = 'C##DBZUSER'; SELECT TABLE_NAME FROM DBA_TAB_PRIVS WHERE GRANTEE = 'C##DBZUSER'; - 获取当前SCN： sql SELECT CURRENT_SCN FROM V$DATABASE;

通过以上分析和解决方案，您可以根据具体的错误信息快速定位问题并采取相应措施。如果问题仍然存在，请提供更多上下文信息以便进一步排查。