Flink CDC为什么 oracle cdc 代码里设置了 .还是捕获不到？

在使用 Flink CDC Oracle 连接器时，即使设置了 .includeSchemaChanges(true)，仍然无法捕获 ALTER TABLE 的变化，并且源端一旦发生 ALTER TABLE 操作后，后续的 DML 操作也无法被捕获。这种问题可能与以下几个方面的原因有关：

1. Oracle 11g 的限制

Oracle 11g 的日志记录机制（Redo Log）对表结构变更（如 ALTER TABLE）的支持有限。Flink CDC 连接器依赖于 Oracle 的 Redo Log 来捕获数据变更，而某些表结构变更操作可能不会被完整记录或解析。

• 原因：

  • Oracle 11g 的 Redo Log 对 ALTER TABLE 操作的记录方式可能导致 Debezium 或 Flink CDC 无法正确解析这些变更。
  • 如果 ALTER TABLE 操作涉及复杂的表结构调整（如列类型变更、添加非空列等），可能会导致后续的 DML 操作无法正常解析。

• 解决方案：

  • 升级到更高版本的 Oracle 数据库（如 12c 或更高版本），因为这些版本对 Redo Log 的支持更加完善。
  • 确保 Oracle 数据库启用了补充日志（Supplemental Logging），并验证是否正确记录了表结构变更。

2. Debezium 的 Schema 变更处理限制

Flink CDC Oracle 连接器底层依赖 Debezium 来解析 Redo Log。如果 Debezium 无法正确处理 ALTER TABLE 操作，可能会导致后续的 DML 操作无法被捕获。

• 原因：

  • Debezium 在解析 Redo Log 时，可能无法识别某些复杂的表结构变更。
  • 如果 ALTER TABLE 操作导致表的元数据发生变化，Debezium 可能会进入不一致状态，从而停止捕获后续的变更。

• 解决方案：

  • 检查 Debezium 的日志，确认是否存在与 ALTER TABLE 相关的错误或警告信息。
  • 配置 Debezium 参数以更好地处理 Schema 变更。例如：

  debezium.inconsistent.schema.handling.mode=warn
  

  这可以避免因 Schema 不一致而导致作业失败。

3. Flink CDC 的 Schema 变更行为配置

Flink CDC 提供了多种 Schema 变更行为的配置选项（如 IGNORE、LENIENT、EVOLVE 等）。如果未正确配置这些选项，可能会导致 ALTER TABLE 操作无法被捕获。

• 原因：

  • 默认情况下，Flink CDC 的 Schema 变更行为可能是 IGNORE 或 LENIENT，这会导致 ALTER TABLE 操作被忽略。
  • 如果下游系统（如 Hologres）不支持某些类型的 Schema 变更（如列类型变更），可能会导致作业失败。

• 解决方案：

  • 在 Flink CDC 的 YAML 配置中，明确设置 schema.change.behavior 为 EVOLVE，以支持动态 Schema 变更：

  pipeline:
    schema.change.behavior: EVOLVE
  

  • 确保下游系统能够兼容表结构变更。例如，Hologres 支持添加可空列和删除列，但不支持列类型变更。

4. Oracle Parallel Source 的实现限制

您提到使用的是 OracleParallelSourceExample 方法。该方法可能在处理并发读取时存在一定的限制，尤其是在表结构变更后无法正确同步元数据。

• 原因：

  • 并行读取可能导致多个线程之间的元数据不一致。
  • 如果 ALTER TABLE 操作发生在并行读取的过程中，可能会导致部分线程无法正确解析后续的 DML 操作。

• 解决方案：

  • 尝试使用单线程模式读取数据，以避免并发问题。
  • 在代码中显式处理 Schema 变更事件。例如：

  .deserializer(new JsonDebeziumDeserializationSchema())
  .includeSchemaChanges(true)
  

5. 其他可能的原因

• 权限问题：确保用于连接 Oracle 数据库的用户具有足够的权限来捕获表结构变更。例如，需要授予 SELECT ANY TRANSACTION 和 LOGMINING 权限。
• 日志保留时间不足：如果 Oracle 的 Redo Log 被清理过快，可能会导致 Flink CDC 无法捕获完整的变更记录。建议增加 Redo Log 的保留时间：

  ALTER SYSTEM SET LOG_ARCHIVE_DEST_1='LOCATION=/path/to/archive VALID_FOR=(ALL_LOGFILES,ALL_ROLES) DB_UNIQUE_NAME=orcl';
  

总结与建议

根据上述分析，您可以按照以下步骤排查和解决问题： 1. 升级 Oracle 数据库：尽量使用 Oracle 12c 或更高版本，以获得更好的 Redo Log 支持。 2. 检查 Debezium 日志：确认是否存在与 ALTER TABLE 相关的错误或警告。 3. 调整 Flink CDC 配置：设置 schema.change.behavior 为 EVOLVE，并确保下游系统兼容 Schema 变更。 4. 优化权限和日志配置：确保数据库用户具有足够的权限，并增加 Redo Log 的保留时间。 5. 简化读取模式：尝试使用单线程模式读取数据，以避免并发问题。

如果问题仍然存在，建议提供更详细的日志信息（如 Debezium 和 Flink 的日志），以便进一步分析。