Flink CDC里oracle logminer应该不会只记录了变更字段吧?

在Flink CDC中，Oracle LogMiner的行为与MySQL的Binlog机制有所不同。LogMiner是Oracle数据库提供的一种工具，用于分析在线和归档的重做日志文件（Redo Log），以捕获数据库中的变更数据。以下是关于LogMiner记录内容的详细说明：

1. LogMiner记录的内容

LogMiner会解析Oracle的重做日志（Redo Log），并提取出所有对数据库的操作记录，包括INSERT、UPDATE和DELETE等操作。对于UPDATE操作，LogMiner不仅记录变更字段，还会记录整行数据的前后状态。这种行为与MySQL的Binlog机制不同，MySQL的Binlog可以选择仅记录变更字段（Minimal模式）或记录完整行数据（Full模式）。

• 前像（Before Image）：表示更新或删除操作之前的数据状态。
• 后像（After Image）：表示更新或插入操作之后的数据状态。

因此，LogMiner的输出通常包含完整的行数据，而不仅仅是变更字段。

2. Flink CDC对LogMiner数据的处理

Flink CDC通过集成Debezium或其他连接器来消费LogMiner解析出的变更数据。在Flink CDC中，这些变更数据会被转换为Changelog事件流，包括以下类型： - INSERT：新增数据。 - UPDATE_BEFORE：更新前的数据状态。 - UPDATE_AFTER：更新后的数据状态。 - DELETE：删除的数据。

Flink CDC会根据LogMiner提供的完整行数据生成上述Changelog事件流。即使LogMiner记录了整行数据，Flink CDC也可以通过配置过滤掉不需要的字段，从而减少带宽和计算资源的消耗。

3. 如何优化LogMiner的使用

由于LogMiner会记录完整的行数据，可能会导致较大的带宽和存储开销。以下是一些优化建议： 1. 启用增量快照： - 如果使用的是支持增量快照的Flink版本（如VVR 8.0.6及以上），可以通过scan.incremental.snapshot.enabled=true参数开启增量快照功能。这种方式可以减少全量扫描时的压力，并提高增量阶段的效率。

1. 限制捕获的表范围：

   • 在配置LogMiner时，可以通过指定需要捕获的表或Schema，避免捕获不必要的变更数据。例如，使用table-name参数匹配特定的表名。

2. 调整LogMiner的捕获模式：

   • Oracle LogMiner支持不同的捕获模式，例如仅捕获DDL操作或特定类型的DML操作。通过调整捕获模式，可以减少不必要的数据记录。

3. 复用Source连接：

   • 如果多个Flink作业需要消费同一个Oracle数据库的变更数据，可以通过复用Source连接来减少LogMiner的重复解析压力。具体方法可以参考Flink CDC的Source复用配置。

4. 重要提醒

• LogMiner的性能影响：LogMiner会对Oracle数据库的性能产生一定影响，尤其是在高并发写入场景下。建议在生产环境中对LogMiner的使用进行充分测试，并监控数据库的性能指标。
• Flink版本要求：部分优化功能（如增量快照）需要较高版本的Flink引擎支持，请确保使用的Flink版本满足要求。

综上所述，Oracle LogMiner不会仅记录变更字段，而是会记录整行数据的前后状态。Flink CDC通过Debezium等连接器消费这些数据，并生成完整的Changelog事件流。如果需要优化LogMiner的使用，可以通过开启增量快照、限制捕获范围等方式来减少资源消耗。