Flink CDC中重新启动flink-sql，元数据没了。但有checkpoint和savepo？
Flink CDC中重新启动flink-sql，元数据没了。但有checkpoint和savepoint，这个job怎么恢复？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在Flink CDC中，如果重新启动Flink SQL作业时发现元数据丢失，但存在Checkpoint和Savepoint，可以通过以下步骤恢复作业。以下是详细的恢复流程和注意事项：
1. 确认状态集的可用性
在恢复作业之前，需要确认Checkpoint或Savepoint的状态集是否完整且未被清理： - 系统检查点（Checkpoint）：由Flink系统自动管理，默认保留一个最新的Checkpoint用于作业恢复。 - 作业快照（Savepoint）：由用户手动创建或定时生成，需确保目标Savepoint文件未被删除或过期。
重要提醒：
- 如果使用的是Paimon表，需确保对应的Tag已创建并长期保留，避免因快照过期导致恢复失败。
- 检查MySQL或MongoDB的Binlog或Oplog是否仍然保留，确保能够从指定位置继续消费。
2. 选择恢复策略
根据业务需求，选择合适的恢复方式：
2.1 从最新状态恢复
- 如果希望从作业停止时的最新状态恢复，可以选择基于最新的Checkpoint或Savepoint启动作业。
- 操作步骤：
- 登录实时计算控制台，进入目标作业的状态集管理页面。
- 在历史页签中，找到最新的Checkpoint或Savepoint。
- 单击目标状态集操作列的更多 > 从该快照恢复作业。
- 配置作业启动信息，确保与原作业的SQL、参数配置和引擎版本兼容。
2.2 从指定状态恢复
- 如果需要从某个特定的Savepoint恢复，可以选择指定的Savepoint进行启动。
- 操作步骤：
- 找到目标Savepoint的ID。
- 停止当前作业后，执行回退命令（如使用Paimon表）：
CALL `<catalog-name>`.sys.rollback_to('<database-name>.<table-name>', 'savepoint-${savepointID}') - 从该Savepoint对应的快照恢复作业。
2.3 全新启动
- 如果无法使用现有状态集，可以选择全新启动作业，并重新配置源表的消费起点（如MySQL的Binlog位点或MongoDB的Resume Token）。
- 注意：全新启动会导致数据重复消费或丢失，请谨慎选择。
3. 配置启动选项
在恢复作业时，需根据业务需求配置启动选项：
3.1 无状态启动
- 适用于新上线作业或无法复用State的情况。
- 关键配置：
- 指定源表开始时间：仅支持日志服务SLS和Kafka源表，需确保startTime参数生效。
- 自动调优：可选择智能调优或定时调优模式，优化资源使用。
3.2 有状态启动
- 适用于从Checkpoint或Savepoint恢复的场景。
- 关键配置：
- 从最新状态恢复：检测SQL作业变化，确保状态兼容性。
- 允许忽略部分算子状态（AllowNonRestoredState）：仅适用于JAR作业，跳过无法匹配的状态以启动作业。
4. 启动作业
完成上述配置后，单击启动按钮，观察作业运行状态。如果启动失败，可通过以下方式排查问题： - 诊断工具：使用Flink Advisor诊断项，检查资源、网络、权限等问题。 - 日志分析：查看作业日志，定位具体错误原因。
5. 注意事项
- 兼容性检查：在恢复作业前，建议单击状态兼容性检测，确保SQL、参数配置和引擎版本兼容。
- Timer处理：恢复后，已到时间的处理时间Timer会立即触发，可能导致短时间内大量数据处理。
- 元数据丢失风险：如果元数据完全丢失，可能需要重新初始化表结构或重新配置CDC连接器。
通过以上步骤，您可以基于现有的Checkpoint或Savepoint成功恢复Flink CDC作业。如果仍有疑问，请提供更多上下文信息以便进一步协助。
