Flink中有人遇到这个情况吗？过20分钟就会遇到，然后就重启了，Service temporari

在Flink中遇到“Service temporarily unavailable due to an ongoing leader election. Please refresh.”的问题，通常与JobManager的高可用性（HA）机制或集群状态异常有关。以下是详细的排查步骤和解决方案：

1. 问题原因分析

该错误表明当前Flink集群正在进行Leader选举，可能是由于以下原因之一导致： - JobManager故障：JobManager可能因资源不足、网络问题或代码异常而崩溃，触发了Leader选举。 - TaskManager失联：TaskManager与JobManager之间的通信中断，可能导致JobManager重新选举。 - Checkpoint或Savepoint失败：频繁的Checkpoint失败可能导致作业不稳定，进而触发重启。 - 配置不当：例如task.cancellation.timeout参数设置不合理，可能导致Task退出超时，最终引发Failover。

2. 排查步骤

2.1 检查JobManager日志

• 登录Flink控制台，进入目标作业的运维页面。
• 在运行事件页签中，使用快捷键搜索error关键字（Windows: Ctrl+F，Mac: Command+F），查看是否有异常信息。
• 如果发现JobManager未正常启动，检查启动日志中的异常堆栈，定位具体问题。

2.2 检查TaskManager状态

• 查看是否有TaskManager失效或失联的情况。
• 在失效Task Manager日志中查找异常信息，尤其是长时间阻塞或未返回的任务。

2.3 检查Checkpoint状态

• 如果作业依赖Checkpoint机制，检查是否存在Checkpoint失败的情况。
• 查看日志中是否出现类似Too many ongoing snapshots的报错，这可能是因为Kafka生产者池大小不足或并发Checkpoint过多导致的。

2.4 检查网络连通性

• 确保上下游服务与Flink工作空间之间的网络连通性正常。
• 如果使用Kafka作为数据源或Sink，检查Kafka Broker的Endpoint是否可被Flink访问。

3. 解决方案

3.1 调整Task退出超时时间

如果问题是由Task退出超时引起的，可以尝试调整task.cancellation.timeout参数：

task.cancellation.timeout: 0

注意：此参数仅用于调试，请勿在生产环境中长期使用。

3.2 配置合理的重启策略

为了避免频繁重启，可以在高级配置中设置合理的重启策略。例如：

restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 2
restart-strategy.fixed-delay.delay: 10s

这样可以限制重启次数，避免无限循环重启。

3.3 增加Checkpoint超时时间

如果Checkpoint失败是问题的根本原因，可以通过以下参数增加超时时间：

execution.checkpointing.timeout: 10min

确保Checkpoint有足够的时间完成，避免因超时失败。

3.4 检查自定义函数实现

如果问题出现在自定义函数中（如close方法或计算逻辑），需要检查代码实现是否存在长时间阻塞的情况。优化代码逻辑以避免阻塞。

4. 其他建议

• 监控资源使用情况：通过Flink UI监控JobManager和TaskManager的CPU、内存使用情况，确保资源充足。
• 定期手动快照：在停止任务前手动创建Savepoint，避免因状态丢失导致数据重复读取。
• 联系技术支持：如果以上方法无法解决问题，可以将具体的异常堆栈信息复制并咨询阿里云技术支持团队。

5. 总结

通过上述步骤，您可以逐步排查并解决“Service temporarily unavailable due to an ongoing leader election”的问题。重点在于检查JobManager和TaskManager的日志、优化Checkpoint配置以及调整重启策略。如果问题仍然存在，建议结合具体日志信息进一步分析。