Flink CDC2.4版本读取的第一条 为什么是read呢，before数据是空？

在使用Flink CDC 2.4版本读取数据时，如果发现第一条记录的read字段有值，而before字段为空，这通常与CDC的工作机制以及数据库表的配置有关。以下是详细的原因分析和解决方案：

原因分析

1. 首次启动时的全量读取阶段

   • 在Flink CDC的initial模式下（默认启动模式），作业会先进行全量数据扫描，然后切换到增量读取阶段。
   • 在全量读取阶段，Flink CDC会将表中的现有数据作为INSERT事件发送到下游，因此before字段为空，而read字段包含当前行的数据。

2. Postgres表的REPLICA IDENTITY设置

   • 如果您使用的是Postgres数据库，并且表的REPLICA IDENTITY未设置为FULL，则在捕获UPDATE或DELETE事件时，before字段可能为空。
   • 默认情况下，Postgres仅记录主键列的旧值，而非主键列的旧值不会被记录。这会导致before字段缺失完整信息。

3. MySQL Binlog格式的影响

   • 如果MySQL的Binlog格式为ROW模式，并且表没有主键或唯一键，Flink CDC可能无法正确解析before字段。
   • 此外，UPDATE操作在Flink SQL中会被拆分为update_before和update_after两条记录。如果before字段为空，可能是由于Binlog中未记录完整的旧值。

4. CDC连接器的增量快照算法

   • Flink CDC在全量读取阶段使用增量快照算法，将表按照主键分片并逐个读取。在此过程中，所有数据都被视为INSERT事件，因此before字段为空。

解决方案

1. 检查数据库表的配置

   • 对于Postgres：

     • 确保表的REPLICA IDENTITY设置为FULL，以记录完整的旧值信息。
     • 执行以下SQL命令修改表配置：

     ALTER TABLE yourTableName REPLICA IDENTITY FULL;
     

     • 如果问题仍然存在，可以在Flink作业中添加以下参数：

     'debezium.slot.drop.on.stop' = 'true'
     

   • 对于MySQL：

     • 确保表具有主键或唯一键，否则Flink CDC可能无法正确解析变更记录。
     • 检查MySQL的Binlog格式是否为ROW模式，并确保binlog_row_image设置为FULL，以记录完整的旧值和新值。

2. 调整Flink CDC的启动模式

   • 如果不需要全量读取，可以将scan.startup.mode设置为latest-offset，直接从增量阶段开始读取。

     'scan.startup.mode' = 'latest-offset'
     

   • 这样可以避免全量读取阶段产生的INSERT事件。

3. 优化Flink作业配置

   • 如果需要保留全量读取阶段，可以通过调整分片参数来优化内存使用，避免因分片过大导致的性能问题。

     'scan.incremental.snapshot.chunk.size' = '5000'  -- 减少每个分片的数据条数
     

4. 验证数据源权限

   • 确保Flink作业使用的数据库用户具有足够的权限，包括SELECT、REPLICATION SLAVE和REPLICATION CLIENT等权限。

重要提醒

• 全量读取阶段的行为：在initial模式下，Flink CDC会将全量数据作为INSERT事件发送，因此before字段始终为空。这是正常行为，无需额外处理。
• Postgres的特殊配置：如果使用Postgres作为数据源，请务必检查REPLICA IDENTITY设置，否则可能导致before字段缺失。
• MySQL的Binlog清理策略：确保MySQL的Binlog保留时间足够长，以避免因日志清理导致的数据丢失问题。

通过以上分析和调整，您可以解决Flink CDC 2.4版本读取数据时before字段为空的问题。如果问题仍未解决，请提供更多上下文信息以便进一步排查。