开发者社区> 问答> 正文

flink从checkpoint中恢复任务失败

您好,问题如下。通过命令执行从checkpoint中恢复任务报如下错误,checkpoint是成功的,任务运行时这个文件是存在的,当任务手动cancel之后,这个文件被删除了,手动恢复是找不到这个文件。 Caused by: java.nio.file.NoSuchFileException: /tmp/flink-io-8d0e1ae7-31bf-4789-a68c-8f1bc979f678/job_e37221187afccd779039c2f92aa31ef4_op_LegacyKeyedProcessOperator_d81cc164fcf6b26d8263b0d47ee35ee7__2_2__uuid_a6c3ca20-2b0e-4631-bd87-e69ec9f0a0b8/24d3f3b9-65e9-4d74-bdfc-1a8559d8de60/CURRENT

展开
收起
独宠 2019-12-13 10:53:09 12783 0
1 条回答
写回答
取消 提交回答
  • 块大小不是集群属性,是文件属性,客户端可以设置的,flink这时候每个taskmanager和jobmanager都是hdfs的"客户端",根据flink文档,我们可以做如下配置 1、在conf/flink-conf.yaml中指定一个hdfs的配置文件路径

    fs.hdfs.hadoopconf: /home/xxxx/flink/conf 1 这里跟flink的配置文件路径选择同一个目录

    2、放进去2个配置文件,一个core-site.xml一个是hdfs-site.xml

    core-site.xml可以不放,如果checkpoint和savepoint指定了具体的hdfs地址的话,

    hdfs-site.xml里加上blockSize配置即可,比如这里我们给它设置为1M

    具体块大小如何设置,需要观察自己的作业状态文件大小自己灵活调整。

    重启flink集群,提交作业即可,运行时可以观察下hdfs的fsimage大小,注意不要因为块太小,小文件太多导致元数据过大。

    2021-02-26 14:55:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载