开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink双流join任务使用checkpoint恢复失败,怎么处理?

Flink双流join任务使用checkpoint恢复失败,怎么处理?现象:找不到文件错误:Caused by: java.io.FileNotFoundException: /data1/flink/checkpoint/xxx/checkpoint2/d5d14dd3d0731cc46fa8f80b37d75577/chk-5/2c17a70a-b189-40c3-8c5d-e95816517709 (No such file or directory)过程:类似的set配置,在单表实时任务中测试,chk恢复成功但是在双流join任务中恢复失败会找chk-x文件夹下的一个不存在的文件(所以报错了),但是我看了好多任务,chk-x文件夹下都是只有一个_metadata文件236c99fdfcd3aaae9aeef7cbaee9cad7.png
版本flink1.12相关set配置8f289145c2cb39277980643c5559c7f2.png

展开
收起
三分钟热度的鱼 2023-11-15 19:55:15 56 0
2 条回答
写回答
取消 提交回答
  • 针对Flink双流join任务使用checkpoint恢复失败的问题,可以尝试以下方法进行处理:

    1. 检查checkpoint目录的路径是否正确。确保在配置文件中设置了正确的checkpoint目录路径,例如:
    env.setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
    env.setCheckpointDir("/data1/flink/checkpoint");
    
    1. 检查checkpoint文件是否存在。如果存在,请尝试删除该文件,然后重新启动Flink任务。如果不存在,可能是由于其他原因导致的错误,需要进一步排查。

    2. 检查Flink版本是否与配置文件中的设置一致。如果不一致,请更新Flink版本或修改配置文件以匹配当前版本。

    3. 如果以上方法都无法解决问题,可以尝试在启动Flink任务时添加以下参数,以便查看更详细的错误信息:

    -Dlog.file=/path/to/your/logfile.log
    

    /path/to/your/logfile.log替换为实际的日志文件路径。这样,当任务出现错误时,可以在日志文件中查找更多关于错误的详细信息。

    2023-11-30 09:48:51
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这种问题是由于检查点路径不对所引起的,请检查以下几点:

    • 确保检查点路径配置正确:检查点路径应当指向可写的目录,并且拥有足够的空间来存储检查点文件。
    • 确保作业所在机器上的权限:Flink 进程需要有足够的权限来写入检查点路径。请检查您是否在检查点路径上设置了正确的权限。
    • 检查作业的持久化设置:请确保检查点间隔是正确的,并且没有设定自动清理检查点。
    • 确保不重复使用检查点路径:在同一个检查点路径下不应该有两个相同的作业。
    • 确保作业保存点:当您正在恢复作业时,请检查作业的 savepoints 和触发 savepoints 是否正确。
    2023-11-17 14:30:48
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载