EMR FLINK的界面怎么打开啊?或者命令行在哪里打?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
要打开阿里云EMR Flink的界面或通过命令行操作,您可以按照以下步骤进行:
如果您使用的是EMR-3.29.0及后续版本,推荐通过EMR控制台直接访问Flink Web UI: 1. 登录EMR控制台: - 访问阿里云EMR控制台页面。 2. 选择目标集群: - 在EMR on ACK页面,点击目标集群所在行的“所属ACK集群”列的链接。 3. 访问Flink Web UI: - 在集群管理页面中,找到Flink作业的Web UI入口链接(通常为YARN UI中的“Tracking URL”)。 - 点击链接即可跳转到Flink Web UI界面。
对于EMR-3.29.0之前的版本,或者需要更高安全性的场景,可以通过SSH隧道方式访问Flink Web UI: 1. 确保网络连通性: - 确保您的客户端机器与EMR集群节点处于同一内网环境。 2. 配置SSH隧道: - 使用SSH工具(如ssh
命令)建立隧道连接。例如: bash ssh -L 8081:localhost:8081 root@<EMR_MASTER_IP>
- <EMR_MASTER_IP>
:EMR集群主节点的IP地址。 3. 访问Web UI: - 在本地浏览器中访问http://127.0.0.1:8081
,即可查看Flink Web UI。
如果您的Flink作业运行在Kubernetes集群上,可以通过kubectl
命令进行端口转发: 1. 连接Kubernetes集群: - 使用kubectl
工具连接到目标Kubernetes集群。 2. 执行端口转发命令: - 执行以下命令将Flink JobManager的服务转发到本地: bash kubectl port-forward -n <yourClusterId> svc/<flink_service_name>-rest 18088:8081
- <yourClusterId>
:您的集群ID,可在EMR on ACK控制台获取。 - <flink_service_name>
:Flink作业的服务名称,可通过kubectl get svc -n <yourClusterId>
查看。 3. 访问Web UI: - 在浏览器中访问http://127.0.0.1:18088/#/overview
,查看Flink作业的运行状态。
如果您希望通过命令行提交或管理Flink作业,可以按照以下步骤操作: 1. 连接到EMR集群: - 使用SSH工具连接到EMR集群的主节点。例如: bash ssh root@<EMR_MASTER_IP>
2. 提交Flink作业: - 使用flink run
命令提交作业。例如: bash flink run -t yarn-per-job -p 2 -ynm 'example_job' /path/to/your-flink-job.jar
- -t
:指定作业提交模式(如yarn-per-job
)。 - -p
:设置并行度。 - -ynm
:设置作业名称。 3. 查看作业状态: - 使用yarn application -list
命令查看正在运行的Flink作业。 - 或者通过Flink CLI命令查看作业详情: bash flink list
通过以上方法,您可以轻松打开EMR Flink的界面或通过命令行提交和管理作业。
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。