flink从checkpoint中恢复任务失败-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

flink从checkpoint中恢复任务失败

2019-12-13 10:53:09 2259 1

您好,问题如下。通过命令执行从checkpoint中恢复任务报如下错误,checkpoint是成功的,任务运行时这个文件是存在的,当任务手动cancel之后,这个文件被删除了,手动恢复是找不到这个文件。 Caused by: java.nio.file.NoSuchFileException: /tmp/flink-io-8d0e1ae7-31bf-4789-a68c-8f1bc979f678/job_e37221187afccd779039c2f92aa31ef4_op_LegacyKeyedProcessOperator_d81cc164fcf6b26d8263b0d47ee35ee7__2_2__uuid_a6c3ca20-2b0e-4631-bd87-e69ec9f0a0b8/24d3f3b9-65e9-4d74-bdfc-1a8559d8de60/CURRENT

取消 提交回答
全部回答(1)
  • 游客2q7uranxketok
    2021-02-26 14:55:36

    块大小不是集群属性,是文件属性,客户端可以设置的,flink这时候每个taskmanager和jobmanager都是hdfs的"客户端",根据flink文档,我们可以做如下配置 1、在conf/flink-conf.yaml中指定一个hdfs的配置文件路径

    fs.hdfs.hadoopconf: /home/xxxx/flink/conf 1 这里跟flink的配置文件路径选择同一个目录

    2、放进去2个配置文件,一个core-site.xml一个是hdfs-site.xml

    core-site.xml可以不放,如果checkpoint和savepoint指定了具体的hdfs地址的话,

    hdfs-site.xml里加上blockSize配置即可,比如这里我们给它设置为1M

    具体块大小如何设置,需要观察自己的作业状态文件大小自己灵活调整。

    重启flink集群,提交作业即可,运行时可以观察下hdfs的fsimage大小,注意不要因为块太小,小文件太多导致元数据过大。

    0 0
相关问答

1

回答

flink从checkpoint中恢复任务失败

2019-02-23 16:55:07 4079浏览量 回答数 1

1

回答

增量checkpoint是否可以用来恢复flink作业

2021-12-02 17:17:52 416浏览量 回答数 1

0

回答

增量checkpoint是否可以用来恢复flink作业

2021-12-02 17:17:07 214浏览量 回答数 0

1

回答

问下大家,flink sql 的Row函数,里面的字段应该可以是任意表达式吧?

2022-09-02 16:14:07 129浏览量 回答数 1

1

回答

flink sql lookup join中维表不可以是视图吗?

2021-12-08 19:40:09 770浏览量 回答数 1

1

回答

Flink SQL的背景是什么?

2021-12-08 20:59:23 119浏览量 回答数 1

1

回答

flink sql实时计算分位数如何实现

2021-12-06 11:44:19 948浏览量 回答数 1

1

回答

Flink SQL Row里嵌套Array<Row>该如何用DDL定义?

2021-12-06 11:30:28 498浏览量 回答数 1

1

回答

flink sql 中怎么把ROW类型转换成INT?

2021-12-06 19:59:08 293浏览量 回答数 1

1

回答

Flink SQL:用于连接表的内存不足

2018-12-06 18:03:05 3380浏览量 回答数 1
+关注
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载