Flink CDC中作业重启后，source一直卡住，不读取binlog？2.1.1

问题分析

在Flink CDC作业中，如果作业重启后，source一直卡住且不读取binlog，可能是由于以下原因导致的：

1. Binlog文件过期或不可用：MySQL服务器上的Binlog文件可能已被清理，导致Flink无法从指定位置继续消费。
2. 启动策略配置错误：作业重启时未正确选择启动策略（全新启动或从最新状态恢复），可能导致source无法找到正确的消费位点。
3. 数据库连接冲突：多个CDC作业或同步工具使用了相同的server-id，导致Binlog消费冲突。
4. 反压问题：下游算子（如聚合或Sink）出现反压，导致source无法正常消费数据。
5. Checkpoint间隔设置过大：全量同步完成后，增量阶段需要等待一个Checkpoint才能开始消费增量数据。如果Checkpoint间隔时间过长，可能导致增量阶段延迟。

解决方案

1. 检查Binlog文件是否过期

• 操作步骤：
  1. 在MySQL客户端执行以下命令，查看当前可用的Binlog文件及修改时间：

     SHOW FULL BINARY LOGS;
     

  2. 确认作业需要消费的Binlog文件是否存在于列表中。如果不存在，说明Binlog已过期。
• 解决方案：
  • 增加Binlog的保留时间，例如设置为7天：

  SET GLOBAL expire_logs_days = 7;
  

  • 如果Binlog已过期，需重新启动作业并选择从最新的Binlog位点开始消费。

2. 确认启动策略配置

• 操作步骤：
  1. 检查作业重启时的启动策略：
     • 如果选择全新启动，MySQL CDC源表会从配置的初始位点重新消费。
     • 如果选择从最新状态恢复，MySQL CDC源表会从作业停止时的位置继续消费。
  2. 确保启动策略与实际需求一致。
• 解决方案：
  • 如果需要从最新状态恢复，请确保作业停止时的消费位点仍然有效（即对应的Binlog文件未被清理）。
  • 如果需要全新启动，请确认配置的初始位点（如Binlog文件名和位置）是正确的。

3. 检查server-id配置

• 问题描述： MySQL CDC源表需要为每个并行度配置全局唯一的server-id。如果多个CDC作业或同步工具使用了相同的server-id，会导致Binlog消费冲突。
• 操作步骤：
  1. 检查作业中所有MySQL CDC源表的server-id配置。
  2. 确保每个并行度的server-id是全局唯一的。
• 解决方案：
  • 为每个MySQL CDC源表配置独立的server-id范围。例如：

  SELECT * FROM source_table1 /*+ OPTIONS('server-id'='123456-123457') */
  LEFT JOIN source_table2 /*+ OPTIONS('server-id'='123458-123459') */
  ON source_table1.id = source_table2.id;
  

  • 如果开启了Source复用功能，确保合并的源表具有相同的配置参数。

4. 排查反压问题

• 问题描述： 下游算子（如聚合或Sink）出现反压，可能导致source无法正常消费数据。
• 操作步骤：
  1. 在Flink Web UI中查看作业的反压情况。
  2. 检查下游算子是否存在性能瓶颈（如写入速度慢、资源不足等）。
• 解决方案：
  • 调整作业资源配置，增加并行度或提高TaskManager的内存。
  • 优化下游算子的处理逻辑，减少数据处理延迟。

5. 检查Checkpoint间隔设置

• 问题描述： 在全量同步完成后，增量阶段需要等待一个Checkpoint才能开始消费增量数据。如果Checkpoint间隔时间过长，可能导致增量阶段延迟。
• 操作步骤：
  1. 检查作业的Checkpoint间隔时间配置。
  2. 确认全量同步是否已完成（可通过监控指标currentEmitEventTimeLag判断）。
• 解决方案：
  • 根据业务需求调整Checkpoint间隔时间。例如，将间隔时间设置为5分钟：

  SET 'execution.checkpointing.interval' = '5min';
  

  • 如果使用RDS MySQL 5.6只读实例，建议升级至更高版本或切换到可写实例，以确保增量阶段的数据可用性。

其他注意事项

• 重要提醒：
  • 确保Binlog格式为ROW模式：通过以下命令检查并设置Binlog格式：

  SHOW VARIABLES LIKE 'binlog_format';
  SET GLOBAL binlog_format = 'ROW';
  

  • 避免使用只读实例：RDS MySQL的只读实例不保证Binlog的可用性，可能导致消费失败。
  • 开启Source复用功能：在多表场景下，开启Source复用可以减少数据库压力，但需注意拓扑变化可能导致无状态启动。

总结

通过以上步骤，您可以逐步排查并解决Flink CDC作业重启后source卡住的问题。如果问题仍未解决，建议查看TaskManager日志中的异常信息，并根据具体的报错内容进一步分析。