flink on yarn错误“Yarn只有-1个虚拟核心可用”
"我已经安装了Cloudera CDH 6，然后我想使用flink网站上的软件包安装flink，并运行它“flink on yarn”。
我已完成以下步骤：1。编辑/ etc / profile
export HADOOP_CONF_DIR = / opt / cloudera / parcels / CDH-6.0.0-1.cdh6.0.0.p0.537114 / lib / hadoop / etc / hadoop
执行./yarn-session.sh -n 4 -jm 2048 -tm 2048 -s 3 -nm FlinkOnYarnSession -d -st
但它总是显示：
每个节点的虚拟核心数配置为4，但Yarn只有-1个虚拟核可用。请注意，除非在Flink配置中使用'yarn.containers.vcores'进行配置，否则默认情况下虚拟核心数将设置为任务槽数。
这是一个新的集群，没有工作正在运行，我在yarn webUI中看到有20个可用的vcores。
"
写回答
-
请问flink1.9.0-cdh6.3.0从：https://www.cloudera.com/downloads/cdf/csa-trial.html处下载安装运行在cdh6.3.0中后，只能运行：flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/WordCount.jar --input hdfs://master:8020/user/root/testflink.txt --output hdfs://master:8020/user/root/flink/wordcount_output，该安装包下所提供的其他示例，如：flink run /opt/cloudera/parcels/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0/lib/flink/examples/streaming/SocketWindowWordCount.jar --port 9009却报错见：https://developer.aliyun.com/ask/133744?spm=a2c6h.13159736，而由于我cdh未启用kerberos安全认证功能，故我在cdh的flink“配置”处清除了默认的两个选项共三个默认值：Client和KafkaClient、flink.keytab，重启后运行flink list命令仍报错：WARN zookeeper.ClientCnxn: SASL configuration failed。请问如何弃用此安全功能？
2020-01-11 16:04:11赞同 展开评论 打赏 -
-
flink小助手会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关flink的问题及回答。"这是由于flink中的一个错误，详细信息可以在这里查看：https：//issues.apache.org/jira/browse/FLINK-5542
使用flink 1.6.1版本，我通过修改yarn-site.yml并添加cpu-vcores参数解决了这个问题。
vim $HADOOP_CONF_DIR/yarn-site.yml
添加yarn.nodemanager.resource.cpu-vcores属性，例如将其设置为8。<name>yarn.nodemanager.resource.cpu-vcores</name> <value>8</value>"
2019-07-17 23:16:53赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
