Flink CDC这个参数splitSize 是不是 按行数去切的？

在Flink CDC中，splitSize 参数的作用是控制分片（chunk）的大小，但它并不是直接按行数来切分的，而是基于主键范围进行分片的。具体来说，Flink CDC会根据表的主键值范围，将数据划分为多个分片（chunk），每个分片包含一定范围的主键值。分片的大小可以通过 scan.incremental.snapshot.chunk.size 参数进行配置。

关于您的问题的具体解答：

1. splitSize 是否按行数切分？

   • 不是。splitSize 是基于主键范围进行切分的，而不是直接按行数切分。例如，如果主键是自增的整数类型，Flink CDC会根据主键值的范围来划分分片，而不是简单地按行数划分。

2. 默认分片大小是否为2行？

   • 默认情况下，Flink CDC并不会固定按2行切分一个分片。您提到的日志信息 Use unevenly-sized chunks for table rls_schema.t_bd_customprice_l, the chunk size is 2 可能是因为主键分布不均匀，导致某些分片的实际数据量较小，甚至可能只有2行。这种情况通常与表的主键分布特性有关，而不是Flink CDC的默认行为。

3. 如何调整分片大小？

   • 如果希望调整分片大小，可以通过设置 scan.incremental.snapshot.chunk.size 参数来控制。例如：

     CREATE TABLE source_table (
      ...
     ) WITH (
      'connector' = 'mysql-cdc',
      'scan.incremental.snapshot.chunk.size' = '1000'
     );
     

     上述配置将分片大小设置为1000，表示每个分片包含大约1000条记录的主键范围。

4. 主键分布不均的影响：

   • 如果表的主键分布不均匀（例如某些主键值范围内的数据量特别少），可能会导致分片大小不一致，出现类似“2行一个分片”的情况。这种情况下，可以考虑通过 scan.incremental.snapshot.chunk.key-column 参数指定其他字段作为分片依据，以优化分片划分。

重要提醒：

• 内存优化：如果分片过大或过小，可能会导致TaskManager出现OOM（内存溢出）问题。建议根据实际数据量调整 scan.incremental.snapshot.chunk.size 参数，并适当增加TaskManager的内存配置。
• 升级版本：如果您使用的是VVR 8.0.8及之前的版本，最后一个分片可能会读取大量数据，建议升级到VVR 8.0.9及以上版本以避免该问题。

综上所述，splitSize 并不是按行数切分的，而是基于主键范围划分分片。日志中提到的“chunk size is 2”可能是由于主键分布不均导致的特殊情况。