Flink CDC中mysql-cdc的连接器 UnevenlyChunk的逻辑 ？

在Flink CDC中，UnevenlyChunk 的逻辑是基于主键对表数据进行分片（chunk）划分的。当主键为 VARCHAR 类型时，由于数据库中的排序规则（受字符集和排序规则影响）与 Java 的 String 类型的 Comparable 排序逻辑可能存在差异，可能会导致某些分片的数据量不均匀，甚至出现一个非常大的分片，从而引发内存溢出（OOM）问题。

以下是具体原因及解决方案：

1. 问题原因

• 主键排序规则差异
  数据库中的 VARCHAR 类型排序规则由创建数据库或表时指定的字符集和排序规则决定，而 Flink 在分片时使用的是 Java 的 String 类型排序逻辑。这种差异可能导致分片边界划分不合理。例如：

  • 数据库中的主键值为：['0000', '1111', '2222', '3333', '4444', 'aaaa', 'bbbb', 'cccc', 'dddd', ...]
  • 如果 chunkSize 设置为 2，则分片可能被划分为：
  • Chunk 1: ['0000', '1111']
  • Chunk 2: ['2222', '3333']
  • Chunk 3: ['4444', 'aaaa']
  • Chunk 4: ['bbbb', 'cccc', 'dddd', ...]
    最后一个分片包含了大量数据，可能导致 OOM。

• 增量快照算法的影响
  Flink CDC 使用增量快照算法，将表按照主键分成多个分片，并逐个读取每个分片的数据。如果某个分片的数据量过大，TaskManager 可能会因为内存不足而崩溃。

2. 解决方案

2.1 调整分片参数

• 减少 scan.incremental.snapshot.chunk.size 值
  通过减小 scan.incremental.snapshot.chunk.size 参数值，可以减少每个分片的数据条数，从而降低单个分片的内存占用。例如：

  CREATE TABLE source_table (
    id VARCHAR,
    ...
  ) WITH (
    'connector' = 'mysql-cdc',
    'scan.incremental.snapshot.chunk.size' = '500'
  );
  

  注意：此参数的默认值通常较大，建议根据实际数据分布调整为较小值。

• 增加 TaskManager 内存
  如果无法进一步减小分片大小，可以通过增加 TaskManager 的堆内存来缓解 OOM 问题。例如，在 Flink 配置文件中调整以下参数：

  taskmanager.memory.process.size: 4g
  

2.2 指定分片字段

• 设置 scan.incremental.snapshot.chunk.key-column
  默认情况下，Flink CDC 使用主键的第一个字段进行分片。如果主键为联合主键，且第一个字段的值分布不均匀，可能会导致分片数据量不均衡。此时，可以通过 scan.incremental.snapshot.chunk.key-column 参数指定其他字段作为分片依据。例如：

  CREATE TABLE source_table (
    id VARCHAR,
    other_key INT,
    ...
  ) WITH (
    'connector' = 'mysql-cdc',
    'scan.incremental.snapshot.chunk.key-column' = 'other_key'
  );
  

  注意：指定的字段必须是非空类型，且数据分布尽量均匀。

2.3 升级 Flink 版本

• 升级到 VVR 8.0.9 及以上版本
  在 VVR 8.0.8 及之前版本中，最后一个分片可能会包含大量数据，导致 TaskManager 出现 OOM。建议升级到 VVR 8.0.9 或更高版本，以避免该问题。

3. 其他注意事项

• 监控分片数据量
  在调试过程中，可以通过日志或监控工具查看每个分片的实际数据量，确保分片划分合理。

• 避免字符集和排序规则冲突
  在设计数据库表时，尽量选择与 Java String 排序逻辑一致的字符集和排序规则，以减少分片划分的不均匀性。

通过上述方法，可以有效解决因主键为 VARCHAR 类型而导致的分片不均匀问题，避免 OOM 的发生。