在Amazon EMR上配置Flink Rest API-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

在Amazon EMR上配置Flink Rest API

2018-12-10 13:23:40 2936 1

我在亚马逊的EMR上通过YARN运行Flink应用程序,有一个主服务器和一个服务器。

我正在尝试ssh到主节点然后访问Flink REST API,但无法使EMR静态使用相同的主机/端口。

我已经尝试将此配置添加到EMR并从当前主节点的私有DNS中获取主机。它正在运行的实际端口是不同的yarn-session。

[
{

"Classification": "flink-conf",
"Properties": {
  "rest.port": "44477",
  "jobmanager.web.port": "44477",
  "jobmanager.web.upload.dir": "/home/hadoop"
}

}
]
我已经验证了属性也反映在flink-conf.yaml文件中。

以下是启动日志的摘录:

2018-09-06 21:34:33,749 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.yarn.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: env.hadoop.conf.dir, /etc/hadoop/conf
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: rest.port, 44477
2018-09-06 21:34:33,751 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: jobmanager.web.port, 44477

Flink JobManager is now running on ip-10-2-3-25.ec2.internal:41161 with leader id 00000000-0000-0000-0000-000000000000.
JobManager Web Interface: http://ip-10-2-3-25.ec2.internal:41161

取消 提交回答
全部回答(1)
  • flink小助手
    2019-07-17 23:19:12

    我也通过电子邮件发送了Flink邮件列表,发现这是我使用YARN的结果,我已经为EMR设置了它。YARN忽略Flink配置,因为变量是在运行时设置的,可以通过cli命令访问yarn application -status [appId],其中[appId]是YARN应用程序的id,可以在其中找到yarn application -list。

    0 0
相关问答

1

回答

Flink1.11支持CDC了是么? #Flink

2020-06-10 23:24:45 1642浏览量 回答数 1

1

回答

flink 1.11 cdc相关问题

2021-12-07 10:07:48 626浏览量 回答数 1

1

回答

Flink CDC中的CDC是什么意思?

2022-01-19 15:15:09 4452浏览量 回答数 1

1

回答

Flink CDC 2.0的整体流程是怎么样的?

2022-01-19 15:33:19 2629浏览量 回答数 1

1

回答

Flink CDC 2.0的提升有哪些?

2022-01-19 15:34:27 2571浏览量 回答数 1

1

回答

Flink CDC 的下游支持了哪些数据源?

2022-01-19 16:09:35 694浏览量 回答数 1

1

回答

Flink CDC 的核心特性有哪些?

2022-01-19 16:17:42 518浏览量 回答数 1

1

回答

Flink CDC 的亮点之一是什么?

2022-01-19 16:21:12 543浏览量 回答数 1

1

回答

Flink CDC 和 Flink 的版本对应关系是怎么样的?

2022-01-19 16:25:14 1130浏览量 回答数 1

1

回答

有关 Flink CDC 的介绍和教程可以在哪里参考到?

2022-01-19 16:35:16 1426浏览量 回答数 1
+关注
flink小助手
flink小助手会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关flink的问题及回答。
文章
问答
问答排行榜
最热
最新
相关电子书
更多
阿里云 API 精选手册(Alibaba Cloud API Playbook)
立即下载
Flink Forward China ——基于Apache Flink的搜索处理平台
立即下载
阿里云流计算 Flink SQL 核心功能解密
立即下载