开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

我在flink 这种情况如何重启能够恢复之前的job?

我在flink Standalone HA 模式下,重启集群后,之前running job和历史job都丢了,web ui看不到任何job信息了,这种情况如何重启能够恢复之前的job?

展开
收起
三分钟热度的鱼 2023-11-22 18:39:15 330 0
4 条回答
写回答
取消 提交回答
  • 在Flink Standalone HA模式下,如果重启集群后无法在Web UI上看到任何作业信息,可以尝试以下步骤来恢复之前的作业:

    1.检查Flink配置文件:确保你的Flink配置文件正确配置了JobManager和TaskManager的地址,以及相关的端口号。确保集群的配置是正确的,并且所有节点都可以通过网络相互通信。
    2.检查Flink Web UI:确保Flink的Web UI正在运行,并且可以正常访问。如果Web UI无法访问,检查Web UI的日志以获取更多信息。
    3.检查Flink的状态:使用Flink的命令行工具或Web UI检查集群的状态。确保所有TaskManager都已正确注册,并且JobManager可以与其通信。
    4.重启Flink集群:尝试重新启动整个Flink集群,以确保所有节点都已正确启动并能够正常工作。
    5.重新提交作业:如果之前的作业丢失了,你可以尝试重新提交作业。使用Flink的命令行工具或Web UI重新提交作业,并确保作业的依赖项和配置都已正确设置。
    6.检查日志:查看Flink的日志文件,特别是JobManager和TaskManager的日志。这可能会提供有关作业丢失或无法恢复的更多信息。
    7.联系支持:如果问题仍然存在,并且你无法恢复之前的作业,可以联系Flink的支持团队或社区寻求帮助。他们可能能够提供更具体的故障排除步骤或解决方案。

    2023-11-29 11:25:01
    赞同 展开评论 打赏
  • 在Flink Standalone HA模式下,重启集群后,之前正在运行的job和历史job的信息可能会丢失。这是因为Flink的jobmanager和taskmanager在重启后会重新启动,而他们之前保存的Jobs信息会丢失。要恢复这些信息,您可以尝试以下几种方法:

    1. 检查Flink集群的状态,确保它们正常运行。
    2. 使用Flink的rest API来查看Jobs信息。API可以提供关于当前运行和已完成的作业的详细信息。
    3. 利用Flink HistoryServer来查看Jobs信息。HistoryServer是一个Web界面,它提供了有关所有已完成作业的历史信息。
    4. 可以使用Flink的可视化工具(如:Flink Web UI)来查看Jobs信息。这个UI提供了一种直观的方式来查看作业的状态和结果。
    2023-11-28 11:53:11
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 Flink Standalone HA 模式下,当集群重启之后可能会出现您所说的问题。为了恢复先前 running job 和历史 job 的信息,请参考下面步骤:

    1. 首先检查您的 Flink 集群状态,确保它们正常运行;
    2. 备份 Flink HA 主节点上的 Flink 集群状态信息,并还原 Flink 集群状态;
    3. 在 JobManager 中重新加载历史任务,并恢复 job;
    4. 再次提交原先的 job 并启动。
    2023-11-22 22:45:32
    赞同 展开评论 打赏
  • stop/start-cluster.sh 把集群给重置导致这个问题。此回答整理自钉群“【①群】Apache Flink China社区”

    2023-11-22 20:49:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载