1    访问 YARN Web 用户界面

访问 YARN Web 用户界面以监控集群、队列、应用程序、服务和任务流的活动。

您可以从 Cloudera Manager 访问 YARN Web 用户界面来监控集群。

1.   在Cloudera Manager 中，选择YARN 服务。

2.   单击Web UI选项卡。

3.   选择ResourceManager Web UI。

ResourceManager Web UI 在新的浏览器窗口中打开。

请注意，在ResourceManager高可用性配置中，如果您选择非活动ResourceManager，则链接将指向活动ResourceManager 的 Web UI。

2    查看集群概览

“集群概览”页面按应用程序和队列显示集群资源使用情况、有关已完成和正在运行的应用程序的信息以及集群中内存和 vCore 的使用情况。

应用程序的集群资源使用情况

显示应用程序正在使用的集群资源的百分比和可供使用的百分比。

叶子队列的集群资源使用情况

显示叶子队列正在使用的集群资源的百分比和可供使用的百分比。

来自所有用户的完成的应用程序

显示已完成、已终止和失败的应用程序的数量。

监控正在运行的应用程序

显示挂起和正在运行的应用程序的数量。

memory-mb – 使用

显示已用的和可用的内存量。

vcores – 使用

显示已使用的和可用的vcore数。

监控Node Manager

显示以下类别下Node Manger的状态：

·      活动的

·      不良

·      退役中

·      已退役

·      失联

3     查看节点和节点详细信息

该节点上的Yarn Web用户界面页面，可以查看有关该NodeManagers正在运行的集群节点的信息。

该节点在以下标题页面显示的细节：信息、节点状态和节点热图图表。

3.1   信息

信息选项卡显示在下面的图中所示的节点的详细信息：

您可以对任何列进行排序以查看所需节点的详细信息。您还可以搜索以从整个列表中查找特定节点标签。

3.2   节点管理器页面

要查看任何节点标签的节点管理器页面，请单击相应的节点 HTTP 地址。所述节点管理器页面显示的节点的详细信息作为显示在下面的图中：

您还可以在饼图表示中查看以下类别中的资源使用情况：

1.   内存

2.   Vcore

3.   Yarn-io/GPU

3.3   节点状态

此选项卡以图形表示形式显示节点管理器。它显示详细信息，例如活动节点的数量、不健康的节点的数量、退役的节点和退役的节点管理器的数量。

3.4   节点热图图表

此选项卡根据节点的内存使用情况以图形方式显示节点。您可以在搜索栏中输入主机或机架详细信息以过滤节点。

4     查看队列和队列详细信息

该队列页面是YARN队列调度依赖和显示的细节。您可以查看所有分区的队列或过滤以查看分区的队列。

4.1   容量调度器

4.2   查看队列详细信息

在容量调度程序视图中，单击代表特定队列的圆圈。页面的右栏会更新为该队列的详细信息。

以下示例显示了队列的详细信息：

您可以双击队列以在单独的页面上查看其详细信息。您还可以通过单击相应的应用程序的 ID 来查看提交到该队列的任何应用程序的详细信息。

5    查看所有应用程序

您可以使用 YARN Web 用户界面搜索应用程序并查看其详细信息。

该应用程序页面会显示详细信息以表格形式yarn的应用。

·      Application ID：应用程序的标识符。

·      Application Type：指定 Mapreduce、YARN、TEZ 或其他应用程序的应用程序类型。

·      Application Name：提供应用程序的名称

·      User：作为应用程序所有者的用户的名称。

·      State：应用程序的运行状态。

·      Queue：指定应用程序所属的队列名称。

·      Progress：应用程序的进度以百分比显示。

·      Start Time：应用程序运行开始的时间。

·      Elapsed Time：应用程序运行所用的时间。

·      Finished Time：应用程序运行完成的时间。

·      Priority：运行应用程序的优先级。

·      %Cluster：应用程序运行使用的集群资源的百分比。

6    搜索应用

该应用程序页面显示的YARN应用程序以表格形式的列表。您可以在此列表上应用搜索过滤器以仅显示与搜索条件匹配的应用程序。

您可以将搜索条件指定为正则表达式或SQL 语句。

1.   在“应用程序”页面上，根据您要执行的搜索类型，从下拉列表中选择 Regex或SQL。

2.   在搜索框中，指定搜索条件。

3.   单击搜索以查看与搜索条件匹配的应用程序的详细信息。

注意

o   除了指定搜索条件来过滤应用程序列表之外，您还可以根据您的要求选择或清除状态和 队列复选框以查看特定的应用程序集。

o   您可以通过单击表中任何列标题旁边的相应箭头按升序或降序对应用程序条目进行排序。

7    查看申请详情

单击“应用程序”页面上的 YARN 应用程序会显示其详细信息。

您可以查看所选应用程序的以下详细信息：

·      申请尝试

·      资源使用

·      诊断

·      日志

7.1   申请尝试

您可以在图表视图和网格视图中查看尝试。

7.1.1    图表视图

图表显示尝试的开始时间和结束时间。您还可以以表格的形式找到尝试的详细信息，例如应用程序尝试 ID、开始时间、完成时间、已用时间、AM  Container ID 和AM Node ID。您可以使用 AM 节点 Web UI 访问节点 UI。您还可以通过单击日志链接来查看日志。

7.1.2    网格视图

一个表格显示了应用程序尝试的详细信息。您可以找到尝试的详细信息，例如应用程序尝试 ID、开始时间、完成时间、已用时间、AM 容器 ID 和 AM 节点 ID。您可以使用 AM 节点 Web UI 访问节点 UI。您还可以通过单击日志链接来查看日志。

7.2   资源使用

此选项卡显示应用程序尝试使用的资源。

7.3   诊断

使用此选项卡查看应用程序尝试的诊断详细信息。您可以查看任何未完成的资源请求和调度信息。

7.4   日志

使用此选项卡查看特定于容器的日志。从下拉列表中选择一个尝试并选择特定容器以查看所需的日志。

8    用户界面工具

您可以在“工具”页面上查看 YARN 配置和 YARN 守护程序日志 。

8.1   Yarn配置

您可以看到以下配置文件中定义的属性值：

1.   核心配置：core-default.xml 文件中定义的属性的详细信息。

2.   YARN 配置：yarn-default.xml 文件中定义的属性的详细信息。

3.   MapReduce 配置：mapred-default.xml文件中定义的属性的详细信息 。

8.2   YARN 守护进程日志

您可以查看日志文件列表。单击日志文件可在浏览器的另一个选项卡中查看其内容。

9    使用 YARN CLI 查看应用程序日志

使用 YARN CLI 查看运行应用程序的日志。将日志聚合配置为将属于由 NodeManager 分组的单个应用程序的所有容器的日志聚合并写出到文件系统中配置位置的单个日志文件。

您可以使用 YARN ResourceManager Web UI 访问容器日志文件，但在使用yarn logs CLI 命令时可以使用更多选项。

9.1  查看应用程序的所有日志文件

使用以下命令格式查看应用程序的所有日志：

yarn logs -applicationId <Application ID>

9.2  查看应用程序的特定日志类型

使用以下命令格式查看应用程序特定类型的所有日志：

yarn logs -applicationId <Application ID> -log_files <log_file_type>

例如，仅查看stderr错误日志：

yarn logs -applicationId <Application ID> -log_files stderr

该-logFiles选项还支持 Java 正则表达式，因此以下格式将返回所有类型的日志文件：

yarn logs -applicationId <Application ID> -log_files .*

9.3   查看 ApplicationMaster 日志文件

使用以下命令格式查看应用程序的所有ApplicationMaster 容器日志文件：

yarn logs -applicationId <Application ID> -am ALL

使用以下命令格式仅查看第一个ApplicationMaster 容器日志文件：

yarn logs -applicationId <Application ID> -am 1

9.4   列出容器 ID

使用以下命令格式列出应用程序的所有容器 ID：

yarn logs -applicationId <Application ID> -show_application_log_info

9.5  查看一个容器的日志文件

获得容器 ID 后，您可以使用以下命令格式列出特定容器的日志文件：

yarn logs -applicationId <Application ID> -containerId <Container ID>

9.6   显示容器日志文件信息

使用以下命令格式列出应用程序的所有容器日志文件名（类型）：

yarn logs -applicationId  -show_container_log_info

然后您可以使用该-logFiles选项查看特定的日志类型。

9.7  查看一个容器的部分日志文件

对于大型容器日志文件，您可以使用以下命令格式仅列出特定容器的部分日志文件：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size <bytes>

查看前 1000 个字节：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size 1000

查看最后 1000 个字节：

yarn logs -applicationId <Application ID> -containerId <Container ID> -size -1000

9.8   下载应用程序的日志

使用以下命令格式将日志下载到本地文件夹：

yarn logs -applicationId <Application ID> -out <path_to_local_folder>

容器日志文件组织在标有适用节点 ID 的父文件夹中。

9.9   显示 YARN 日志的帮助

要显示的帮助yarn logs，请运行以下命令：

yarn logs -help

原文链接：https://docs.cloudera.com/cdp-private-cloud-base/latest/yarn-using-ui-cli/topics/yarn-ui-access-web-user-interface.html