开发者社区> 问答> 正文

Flink on yarn JDK 版本支持问题

使用Flink1.11.2客户端 往hadoop集群提交job,报错如下:

LogType:jobmanager.err Log Upload Time:Sat Jan 23 00:06:47 -0800 2021 LogLength:160 Log Contents: Unrecognized VM option 'MaxMetaspaceSize=268435456' Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit.

请问是因为hadoop集群jdk版本低的问题吗?

现在已知的是hadoop集群jdk版本为1.7

之前一直以为在flink配置文件中配置的env.java.home就应该是hadoop集群的java home,通过测试,发现并不是,这个java home就是客户端(本地)所在机器的java home。这个java版本已经是1.8+,但提交job时,仍然报错,如上。

是因为hadoop集群的jdk低吗?如果升级了hadoop集群的jdk,那么在flink配置文件中的env.java.home 需要改成hadoop集群的java home吗?还是不用改变,依旧使用本地的java home路径?

这两个jdk对于启动一个flink job的作用是什么呀?( 配置的env.java.home和hadoop集群的java home) *来自志愿者整理的flink邮件归档

展开
收起
JACKJACK 2021-12-08 15:38:28 2232 0
1 条回答
写回答
取消 提交回答
  • 对的是我!

    MaxMetaspaceSize 是在JDK8中新增的,用以取代以前的PermGen,JDK7中自然不支持。可以在hadoop集群中再安装JDK8,将 env.java.home 指向新的JDK*来自志愿者整理的flink邮件归档

    2021-12-08 16:44:26
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载