Flink CDC里这样的CheckPoint算正常吗？

在Flink CDC中，如果Checkpoint的Overview中各指标（如lastCheckpointDuration、lastCheckpointSize等）显示为0或None，这通常表明Checkpoint机制未正常工作或未正确配置。以下是可能的原因及解决方案：

1. Checkpoint未启用或配置错误

• 原因：Flink作业未正确启用Checkpoint，或者Checkpoint的时间间隔设置过长，导致在监控界面中未能捕获到有效的Checkpoint数据。
• 解决方案：
  • 确保在作业中启用了Checkpoint，并设置了合理的间隔时间。例如：

    env.enableCheckpointing(60000); // 每60秒触发一次Checkpoint
    

  • 检查是否在其他配置中正确设置了Checkpoint相关参数，例如execution.checkpointing.interval。

2. 全量同步阶段未触发Checkpoint

• 原因：在Postgres CDC等场景中，如果不开启增量快照功能，全表扫描阶段不会触发Checkpoint。这可能导致Checkpoint指标为空或为0。
• 解决方案：
  • 如果使用的是Postgres CDC连接器，建议开启增量快照功能，并确保Source表声明了主键。
  • 配置以下参数以避免全量同步阶段因Checkpoint超时导致Failover：

    execution.checkpointing.interval: 10min
    execution.checkpointing.tolerable-failed-checkpoints: 100
    restart-strategy: fixed-delay
    restart-strategy.fixed-delay.attempts: 2147483647
    

3. 状态后端未正确配置

• 原因：如果状态后端（如GeminiStateBackend）未正确配置，可能导致Checkpoint无法正常存储状态数据。
• 解决方案：
  • 检查是否使用了正确的状态后端。例如，在VVR 8.x版本中，推荐使用GeminiStateBackend。
  • 如果从VVR 6.x升级到VVR 8.x，可能会遇到You are using the new V4 state engine to restore old state data from a checkpoint报错。此时需要参考相关文档解决兼容性问题。

4. 反压问题导致Checkpoint失败

• 原因：当Flink作业存在反压时，Checkpoint的同步阶段可能会变慢，甚至超时，导致Checkpoint指标异常。
• 解决方案：
  • 在运维中心的Checkpoints页面检查Sync Duration和Alignment Duration是否较长。如果是，则说明瓶颈在同步阶段，需优先解决反压问题。
  • 调整并行度或优化算子逻辑以缓解反压。

5. 日志归档未开启或日志级别设置不当

• 原因：如果日志归档未开启，或者日志级别设置过高（如仅记录ERROR级别日志），可能导致Checkpoint相关的日志信息缺失。
• 解决方案：
  • 在实时计算开发控制台的部署详情页签，确保开启了日志归档功能，并设置合理的日志归档有效期（默认7天）。
  • 将日志级别调整为INFO或DEBUG，以便捕获更多Checkpoint相关的详细信息。

6. 特殊场景下的正常现象

• 原因：在某些特殊场景下，Checkpoint指标为0或None可能是正常的。例如：
  • 数据注入前，作业未处理任何数据，此时Checkpoint仅包含初始化的源状态信息。
  • 第一个增量Checkpoint可能与全量Checkpoint大小一致，因为其需要包含全量数据状态。
• 解决方案：
  • 观察后续的Checkpoint行为。如果从第二个Checkpoint开始，增量Checkpoint的大小逐渐减小，则说明系统正常工作。

7. MongoDB CDC的特殊注意事项

• 原因：在MongoDB CDC场景中，如果Resume Token无效或oplog.rs集合大小不足，可能导致Checkpoint无法正常恢复。
• 解决方案：
  • 确保MongoDB运行在副本集或分片集群架构下，并通过rs.initiate()命令初始化副本集。
  • 设置合适的oplog.rs集合大小，避免Resume Token对应的记录被清理。

总结

如果Flink CDC中的Checkpoint指标显示为0或None，建议按照以下步骤排查： 1. 确认Checkpoint已启用并正确配置。 2. 检查是否处于全量同步阶段，并根据需要开启增量快照功能。 3. 确保状态后端配置正确，并解决可能的兼容性问题。 4. 排查是否存在反压问题，并优化作业性能。 5. 检查日志归档和日志级别设置，确保能够捕获Checkpoint相关信息。 6. 确认是否属于特殊场景下的正常现象。

如果以上方法仍无法解决问题，请提供更详细的作业配置和日志信息，以便进一步分析。