flink从checkpoint中恢复任务失败
您好，问题如下。通过命令执行从checkpoint中恢复任务报如下错误，checkpoint是成功的，任务运行时这个文件是存在的，当任务手动cancel之后，这个文件被删除了，手动恢复是找不到这个文件。 Caused by: java.nio.file.NoSuchFileException: /tmp/flink-io-8d0e1ae7-31bf-4789-a68c-8f1bc979f678/job_e37221187afccd779039c2f92aa31ef4_op_LegacyKeyedProcessOperator_d81cc164fcf6b26d8263b0d47ee35ee7__2_2__uuid_a6c3ca20-2b0e-4631-bd87-e69ec9f0a0b8/24d3f3b9-65e9-4d74-bdfc-1a8559d8de60/CURRENT
写回答
-
块大小不是集群属性，是文件属性，客户端可以设置的，flink这时候每个taskmanager和jobmanager都是hdfs的"客户端"，根据flink文档，我们可以做如下配置 1、在conf/flink-conf.yaml中指定一个hdfs的配置文件路径
fs.hdfs.hadoopconf: /home/xxxx/flink/conf 1 这里跟flink的配置文件路径选择同一个目录
2、放进去2个配置文件，一个core-site.xml一个是hdfs-site.xml
core-site.xml可以不放，如果checkpoint和savepoint指定了具体的hdfs地址的话，
hdfs-site.xml里加上blockSize配置即可，比如这里我们给它设置为1M
具体块大小如何设置，需要观察自己的作业状态文件大小自己灵活调整。
重启flink集群，提交作业即可，运行时可以观察下hdfs的fsimage大小，注意不要因为块太小，小文件太多导致元数据过大。
2021-02-26 14:55:36赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
