您好,问题如下。通过命令执行从checkpoint中恢复任务报如下错误,checkpoint是成功的,任务运行时这个文件是存在的,当任务手动cancel之后,这个文件被删除了,手动恢复是找不到这个文件。 Caused by: java.nio.file.NoSuchFileException: /tmp/flink-io-8d0e1ae7-31bf-4789-a68c-8f1bc979f678/job_e37221187afccd779039c2f92aa31ef4_op_LegacyKeyedProcessOperator_d81cc164fcf6b26d8263b0d47ee35ee7__2_2__uuid_a6c3ca20-2b0e-4631-bd87-e69ec9f0a0b8/24d3f3b9-65e9-4d74-bdfc-1a8559d8de60/CURRENT
块大小不是集群属性,是文件属性,客户端可以设置的,flink这时候每个taskmanager和jobmanager都是hdfs的"客户端",根据flink文档,我们可以做如下配置 1、在conf/flink-conf.yaml中指定一个hdfs的配置文件路径
fs.hdfs.hadoopconf: /home/xxxx/flink/conf 1 这里跟flink的配置文件路径选择同一个目录
2、放进去2个配置文件,一个core-site.xml一个是hdfs-site.xml
core-site.xml可以不放,如果checkpoint和savepoint指定了具体的hdfs地址的话,
hdfs-site.xml里加上blockSize配置即可,比如这里我们给它设置为1M
具体块大小如何设置,需要观察自己的作业状态文件大小自己灵活调整。
重启flink集群,提交作业即可,运行时可以观察下hdfs的fsimage大小,注意不要因为块太小,小文件太多导致元数据过大。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。