大佬们，flink提交到yarn上，从yarn上打不开web UI，有遇到过吗？

在阿里云E-MapReduce平台上，Flink作业提交到YARN后无法通过Web UI访问的问题可能由多种原因导致。以下是详细的排查步骤和解决方案：

1. 确认网络连通性

• 如果您是从集群外部访问YARN Web UI或Flink Dashboard，请确保网络连通性正常。
• 解决方法：
  • 检查是否可以通过公网访问EMR控制台，并找到YARN UI的链接。
  • 如果是通过SSH隧道访问，请确保SSH隧道已正确配置并运行。
  • 如果使用PrivateZone或其他自定义DNS服务，请确认域名解析服务已正确配置。

2. 检查YARN ResourceManager地址

• YARN Web UI的访问依赖于ResourceManager的服务地址。如果地址配置错误或无法解析，可能导致无法打开Web UI。
• 解决方法：
  • 确认yarn-site.xml中的yarn.resourcemanager.webapp.address配置项是否正确。
  • 如果使用的是全域名（FQDN），请确保客户端能够解析这些域名，或者将FQDN替换为对应的IP地址。

3. 验证Flink Web UI的Tracking URL

• Flink作业提交到YARN后，YARN会生成一个Tracking URL，指向Flink Dashboard。如果Tracking URL无法访问，可能是以下原因：
  • 原因1：Flink作业未成功启动，导致Dashboard未初始化。
    • 解决方法：通过命令行查看作业状态，确保作业已成功提交并运行：

      flink list -t yarn-per-job -Dyarn.application.id=<application_XXXX_YY>
      

      如果作业未运行，请检查日志以定位问题。

  • 原因2：Flink Web UI端口被防火墙或安全组规则阻止。
    • 解决方法：检查集群的安全组规则，确保Flink Web UI的端口（默认8081）已开放。

4. 检查Flink配置文件

• Flink的Web UI功能依赖于flink-conf.yaml中的相关配置。如果配置不正确，可能导致Web UI无法正常工作。
• 解决方法：
  • 确保rest.bind-address和rest.port配置正确，默认值分别为0.0.0.0和8081。
  • 如果需要开启火焰图功能，请确保rest.flamegraph.enabled=true已设置。

5. 日志排查

• 如果以上步骤均未解决问题，建议通过日志进一步排查。
• 解决方法：
  • 对于运行中的作业，通过Flink Web UI直接查看日志。
  • 对于已结束的作业，使用以下命令查看日志：

    yarn logs -applicationId <application_XXXX_YY>
    

    检查日志中是否有与Web UI相关的错误信息。

6. 其他注意事项

• 重要提醒：如果您从集群外部提交作业，请确保客户端的Hadoop和Flink环境已正确配置，包括HADOOP_CONF_DIR和HADOOP_CLASSPATH等环境变量。
• 如果使用的是DataFlow集群，请确保已开通相关服务（如OSS、DLF等），并完成必要的授权操作。

通过以上步骤，您可以逐步排查并解决Flink作业提交到YARN后无法打开Web UI的问题。如果问题仍未解决，建议联系阿里云技术支持团队获取进一步帮助。