在Amazon EMR上配置Flink Rest API
我在亚马逊的EMR上通过YARN运行Flink应用程序，有一个主服务器和一个服务器。
我正在尝试ssh到主节点然后访问Flink REST API，但无法使EMR静态使用相同的主机/端口。
我已经尝试将此配置添加到EMR并从当前主节点的私有DNS中获取主机。它正在运行的实际端口是不同的yarn-session。
[
{
"Classification": "flink-conf",
"Properties": {
"rest.port": "44477",
"jobmanager.web.port": "44477",
"jobmanager.web.upload.dir": "/home/hadoop"
}}
]
我已经验证了属性也反映在flink-conf.yaml文件中。
以下是启动日志的摘录：
2018-09-06 21:34:33,749 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.yarn.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.hadoop.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: rest.port, 44477
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: jobmanager.web.port, 44477
Flink JobManager is now running on ip-10-2-3-25.ec2.internal:41161 with leader id 00000000-0000-0000-0000-000000000000.
JobManager Web Interface: http://ip-10-2-3-25.ec2.internal:41161
写回答
-
flink小助手会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关flink的问题及回答。我也通过电子邮件发送了Flink邮件列表，发现这是我使用YARN的结果，我已经为EMR设置了它。YARN忽略Flink配置，因为变量是在运行时设置的，可以通过cli命令访问yarn application -status [appId]，其中[appId]是YARN应用程序的id，可以在其中找到yarn application -list。
2019-07-17 23:19:12赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
