Flink CDC中sourceRecord 结构体 file 为啥空，数据库参数设置问题？

在Flink CDC中，SourceRecord 结构体中的 file 字段为空，通常与数据库的配置或CDC连接器的使用方式有关。以下是可能导致该问题的原因及解决方案：

1. Binlog未正确写入或未启用

• 原因：如果MySQL实例（尤其是备库或只读实例）未正确写入Binlog文件，或者未启用Binlog功能，则CDC连接器无法获取到相关的Binlog信息，导致 file 字段为空。
• 解决方案：
  • 确保MySQL实例启用了Binlog功能，并且配置了正确的Binlog格式（推荐使用 ROW 模式）。
  • 检查MySQL配置文件（如 my.cnf），确保以下参数已正确设置：

    log-bin=mysql-bin
    binlog-format=ROW
    server-id=1
    

  • 如果是备库，需确保启用了 log-slave-updates 参数，以将主库同步的数据写入备库的Binlog文件中：

    log-slave-updates = 1
    

2. CDC连接器未正确配置

• 原因：Flink CDC连接器在初始化时，可能未正确指定 server-id 或其他必要的参数，导致无法正确读取Binlog文件。
• 解决方案：
  • 在构建 MySqlSource 时，确保指定了以下关键参数：

    MySqlSource.builder()
       .hostname("your-mysql-host")
       .port(3306)
       .databaseList("your-database")
       .tableList("your-database.your-table")
       .username("your-username")
       .password("your-password")
       .deserializer(new JsonDebeziumDeserializationSchema())
       .build();
    

  • 确保 server-id 参数唯一，尤其是在多个CDC作业同时运行时。

3. 全量阶段未完成或增量阶段未启动

• 原因：Flink CDC在全量阶段会通过JDBC读取数据，而在增量阶段才会开始读取Binlog。如果全量阶段未完成，或者增量阶段未正确启动，则 file 字段可能为空。
• 解决方案：
  • 检查作业日志，确认是否已完成全量数据同步。可以通过以下指标判断：
    • 监控 currentEmitEventTimeLag 指标，当其大于0时，表示已进入增量阶段。
    • 查找日志中是否出现 BinlogSplitReader is created，确认增量阶段已启动。
  • 如果全量阶段耗时过长，建议增加MySQL Source端的并发数，加快全量读取速度。

4. Checkpoint间隔时间设置不合理

• 原因：Flink CDC在进入增量阶段前需要等待一个Checkpoint完成。如果Checkpoint间隔时间设置过大，可能导致作业卡住，进而影响Binlog读取。
• 解决方案：
  • 根据业务需求，合理设置Checkpoint间隔时间。例如：

    SET 'execution.checkpointing.interval' = '10s';
    

5. Debezium或Flink CDC过滤逻辑的影响

• 原因：Flink CDC通过Debezium读取Binlog时，可能会对数据进行过滤。如果过滤逻辑不正确，可能导致 file 字段为空。
• 解决方案：
  • 检查 table-name 配置是否正确。如果需要读取多张表，可以使用正则表达式匹配表名。例如：

    'table-name' = 'user_.*'
    

  • 确保 scan.startup.mode 参数设置正确。如果希望跳过全量阶段，直接从增量阶段开始读取，可以设置为 latest-offset 或 timestamp。

6. 网络或权限问题

• 原因：如果Flink作业无法正确访问MySQL实例，可能导致无法读取Binlog文件。
• 解决方案：
  • 确保Flink作业所在的网络环境能够访问MySQL实例。如果通过公网访问，建议使用阿里云NAT网关实现VPC与公网的连通。
  • 检查MySQL用户权限，确保其具有读取Binlog的权限：

    GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'your-username'@'%';
    

总结

SourceRecord 中的 file 字段为空，通常是由于MySQL Binlog未正确写入、CDC连接器配置错误、全量阶段未完成或网络权限问题导致的。建议按照上述步骤逐一排查，并根据具体场景调整配置。

重要提醒：在排查问题时，请确保使用的是稳定版本的Flink CDC连接器，避免因SNAPSHOT版本导致的兼容性问题。