Flink CDC里oracle当表没有主键的时候，按照两个字段组合定义一个主键，怎么回事？

在使用Flink CDC读取Oracle表时，如果表没有主键，并且通过两个字段组合定义了一个逻辑主键，全量阶段可能会出现一个chunk只输出一条数据的情况。这种现象通常与Flink CDC的增量快照算法以及分片（chunk）机制有关。以下是详细的原因分析和解决方法：

原因分析

1. 分片机制与主键依赖

   • Flink CDC在全量读取阶段会将表按照主键进行分片（chunk划分）。如果没有显式主键，Flink CDC会根据用户定义的逻辑主键（如两个字段的组合）来进行分片。
   • 如果逻辑主键的分布不均匀，可能导致某些分片中只包含少量数据，甚至只有一个分片包含一条数据。

2. 增量快照算法

   • Flink CDC的增量快照算法会将表划分为多个分片，并逐个读取每个分片的数据。分片的大小由scan.incremental.snapshot.chunk.size参数控制，默认值为8096行。
   • 如果逻辑主键的值分布稀疏，或者数据本身较少，可能导致某些分片中只有少量数据，甚至只有一个分片包含一条数据。

3. Oracle表特性

   • Oracle表在没有物理主键的情况下，Flink CDC会依赖用户定义的逻辑主键进行分片。如果逻辑主键的选择不合理（例如字段值重复率高或分布不均），会导致分片划分不均衡，进而影响全量读取的效率。

解决方法

1. 调整分片参数

   • 通过调整scan.incremental.snapshot.chunk.size参数来控制每个分片的大小。如果分片过小，可以适当增大该值，以减少分片数量并提高读取效率。

     'scan.incremental.snapshot.chunk.size' = '16384'
     

   • 注意：增大分片大小可能会增加内存消耗，需根据实际情况权衡。

2. 优化逻辑主键选择

   • 确保逻辑主键的选择能够均匀分布数据。例如，避免选择重复率高的字段作为逻辑主键的一部分。
   • 如果表中没有合适的字段作为逻辑主键，可以通过scan.incremental.snapshot.chunk.key-column参数手动指定一个非空字段作为分片依据。

     'scan.incremental.snapshot.chunk.key-column' = 'your_column_name'
     

3. 升级Flink版本

   • 如果使用的是较旧版本的Flink CDC，建议升级到最新版本（如VVR 8.0.9及以上）。新版本对分片机制进行了优化，能够更好地处理无主键表的场景。

4. 检查数据分布

   • 检查逻辑主键字段的值分布情况。如果发现某些字段值过于集中，可以考虑重新设计逻辑主键，或者通过其他字段补充分片依据。

5. 启用动态列模式

   • 如果表结构复杂且字段较多，可以尝试启用动态列模式（dynamicColumnSink），以减少对主键的依赖。但需要注意，动态列模式下不支持主键自增列，且overwriteMode必须设置为UPDATE。

注意事项

• 性能调优：调整分片参数后，需监控TaskManager的内存使用情况。如果出现OOM问题，可以适当增加TaskManager的堆内存，或者进一步减少分片大小。
• 数据一致性：确保逻辑主键的选择不会导致数据重复或丢失。如果逻辑主键无法唯一标识一行数据，可能会引发数据一致性问题。
• 版本兼容性：不同版本的Flink CDC对无主键表的支持程度可能有所不同，建议参考官方文档确认当前版本的功能限制。

通过以上方法，您可以有效解决Flink CDC在Oracle表无主键场景下全量读取时一个chunk只输出一条数据的问题。如果问题仍然存在，建议结合具体表结构和数据分布情况进一步分析。