flink-1.8.1 yarn per job模式使用
Hi 大家好：
在使用flink过程中，运行官网给的命令 https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn 报错如下：
➜ flink-1.8.1 ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar
The program finished with the following exception:
java.lang.RuntimeException: Could not identify hostname and port in 'yarn-cluster'. at org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47) at org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83) at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60) at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35) at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224) at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213) at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050) at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126) at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
疑问： 1.为什么会将 yarn-clustet解析为host? 2.要运行single flink job on yarn的正确姿势是啥？*来自志愿者整理的flink邮件归档
写回答
-
这个问题以前邮件列表有人提过...不过现在 user-zh 没有 archive 不好引用。
你看下是不是 lib 下面没有 flink-shaded-hadoop-2-uber- -7.0.jar 这样一个文件。
1.8.1 之后 FLINK 把 hadoop(YARN) 的 lib 分开 release 了，你要指定自己的 HADOOP_CLASSPATH 或者下载 FLINK 官网 pre-bundle 的 hadoop。
具体可以看这个页面（https://flink.apache.org/downloads.html）第一段的内容。*来自志愿者整理的flink邮件归档
2021-12-08 10:46:28赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
