Flink CDC中重新启动flink-sql，元数据没了。但有checkpoint和savepo？

在Flink CDC中，如果重新启动Flink SQL作业时发现元数据丢失，但存在Checkpoint和Savepoint，可以通过以下步骤恢复作业。以下是详细的恢复流程和注意事项：

1. 确认状态集的可用性

在恢复作业之前，需要确认Checkpoint或Savepoint的状态集是否完整且未被清理： - 系统检查点（Checkpoint）：由Flink系统自动管理，默认保留一个最新的Checkpoint用于作业恢复。 - 作业快照（Savepoint）：由用户手动创建或定时生成，需确保目标Savepoint文件未被删除或过期。

重要提醒：
- 如果使用的是Paimon表，需确保对应的Tag已创建并长期保留，避免因快照过期导致恢复失败。
- 检查MySQL或MongoDB的Binlog或Oplog是否仍然保留，确保能够从指定位置继续消费。

2. 选择恢复策略

根据业务需求，选择合适的恢复方式：

2.1 从最新状态恢复

• 如果希望从作业停止时的最新状态恢复，可以选择基于最新的Checkpoint或Savepoint启动作业。
• 操作步骤：
  1. 登录实时计算控制台，进入目标作业的状态集管理页面。
  2. 在历史页签中，找到最新的Checkpoint或Savepoint。
  3. 单击目标状态集操作列的更多 > 从该快照恢复作业。
  4. 配置作业启动信息，确保与原作业的SQL、参数配置和引擎版本兼容。

2.2 从指定状态恢复

• 如果需要从某个特定的Savepoint恢复，可以选择指定的Savepoint进行启动。
• 操作步骤：
  1. 找到目标Savepoint的ID。
  2. 停止当前作业后，执行回退命令（如使用Paimon表）：

     CALL `<catalog-name>`.sys.rollback_to('<database-name>.<table-name>', 'savepoint-${savepointID}')
     

  3. 从该Savepoint对应的快照恢复作业。

2.3 全新启动

• 如果无法使用现有状态集，可以选择全新启动作业，并重新配置源表的消费起点（如MySQL的Binlog位点或MongoDB的Resume Token）。
• 注意：全新启动会导致数据重复消费或丢失，请谨慎选择。

3. 配置启动选项

在恢复作业时，需根据业务需求配置启动选项：

3.1 无状态启动

• 适用于新上线作业或无法复用State的情况。
• 关键配置：
  • 指定源表开始时间：仅支持日志服务SLS和Kafka源表，需确保startTime参数生效。
  • 自动调优：可选择智能调优或定时调优模式，优化资源使用。

3.2 有状态启动

• 适用于从Checkpoint或Savepoint恢复的场景。
• 关键配置：
  • 从最新状态恢复：检测SQL作业变化，确保状态兼容性。
  • 允许忽略部分算子状态（AllowNonRestoredState）：仅适用于JAR作业，跳过无法匹配的状态以启动作业。

4. 启动作业

完成上述配置后，单击启动按钮，观察作业运行状态。如果启动失败，可通过以下方式排查问题： - 诊断工具：使用Flink Advisor诊断项，检查资源、网络、权限等问题。 - 日志分析：查看作业日志，定位具体错误原因。

5. 注意事项

• 兼容性检查：在恢复作业前，建议单击状态兼容性检测，确保SQL、参数配置和引擎版本兼容。
• Timer处理：恢复后，已到时间的处理时间Timer会立即触发，可能导致短时间内大量数据处理。
• 元数据丢失风险：如果元数据完全丢失，可能需要重新初始化表结构或重新配置CDC连接器。

通过以上步骤，您可以基于现有的Checkpoint或Savepoint成功恢复Flink CDC作业。如果仍有疑问，请提供更多上下文信息以便进一步协助。