备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

YARN REST API 总结

2023-11-21 113
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： YARN REST API 总结

01 引言

Yarn其实是有REST Api的，很多接口无需使用爬虫去爬页面，具体的接口使用在官网可以看到。

接口地址： https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

API 目录索引如下：

02 常用接口

注意Yarn REST API同时支持返回JSON或者XML格式的文本，只需要在请求头声明即可，比如需要返回XML（默认返回JSON，不需要显示声明），则请求头如下：

Accept: application/xml
GET http://rm-http-address:port/ws/v1/cluster/info

2.1 指标接口

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/metrics

响应接口：

{
  "clusterMetrics":
  {
    "appsSubmitted":0,
    "appsCompleted":0,
    "appsPending":0,
    "appsRunning":0,
    "appsFailed":0,
    "appsKilled":0,
    "reservedMB":0,
    "availableMB":17408,
    "allocatedMB":0,
    "reservedVirtualCores":0,
    "availableVirtualCores":7,
    "allocatedVirtualCores":1,
    "containersAllocated":0,
    "containersReserved":0,
    "containersPending":0,
    "totalMB":17408,
    "totalVirtualCores":8,
    "totalNodes":1,
    "lostNodes":0,
    "unhealthyNodes":0,
    "decommissioningNodes":0,
    "decommissionedNodes":0,
    "rebootedNodes":0,
    "activeNodes":1,
    "shutdownNodes":0
  }
}

2.2 应用接口

2.2.1 应用列表接口

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/apps

返回内容：

{
  "apps":
  {
    "app":
    [
      {
        "id": "application_1476912658570_0002",
        "user": "user2",
        "name": "word count",
        "queue": "default",
        "state": "FINISHED",
        "finalStatus": "SUCCEEDED",
        "progress": 100,
        "trackingUI": "History",
        "trackingUrl": "http://host.domain.com:8088/cluster/app/application_1476912658570_0002",
        "diagnostics": "...",
        "clusterId": 1476912658570,
        "applicationType": "MAPREDUCE",
        "applicationTags": "",
        "priority": -1,
        "startedTime": 1476913457320,
        "finishedTime": 1476913761898,
        "elapsedTime": 304578,
        "amContainerLogs": "http://host.domain.com:8042/node/containerlogs/container_1476912658570_0002_02_000001/user2",
        "amHostHttpAddress": "host.domain.com:8042",
        "allocatedMB": 0,
        "allocatedVCores": 0,
        "runningContainers": 0,
        "memorySeconds": 206464,
        "vcoreSeconds": 201,
        "queueUsagePercentage": 0,
        "clusterUsagePercentage": 0,
        "preemptedResourceMB": 0,
        "preemptedResourceVCores": 0,
        "numNonAMContainerPreempted": 0,
        "numAMContainerPreempted": 0,
        "logAggregationStatus": "DISABLED",
        "unmanagedApplication": false,
        "appNodeLabelExpression": "",
        "amNodeLabelExpression": "",
        "resourceRequests": [
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 0
            },
            "relaxLocality": true,
            "resourceName": "*"
        },
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 20
            },
            "relaxLocality": true,
            "resourceName": "host1.domain.com"
        },
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 20
            },
            "relaxLocality": true,
            "resourceName": "host2.domain.com"
        }]
      },
      {
        "id": "application_1476912658570_0001",
        "user": "user1",
        "name": "Sleep job",
        "queue": "default",
        "state": "FINISHED",
        "finalStatus": "SUCCEEDED",
        "progress": 100,
        "trackingUI": "History",
        "trackingUrl": "http://host.domain.com:8088/cluster/app/application_1476912658570_0001",
        "diagnostics": "...",
        "clusterId": 1476912658570,
        "applicationType": "YARN",
        "applicationTags": "",
        "priority": -1,
        "startedTime": 1476913464750,
        "finishedTime": 1476913863175,
        "elapsedTime": 398425,
        "amContainerLogs": "http://host.domain.com:8042/node/containerlogs/container_1476912658570_0001_02_000001/user1",
        "amHostHttpAddress": "host.domain.com:8042",
        "allocatedMB": 0,
        "allocatedVCores": 0,
        "runningContainers": 0,
        "memorySeconds": 205410,
        "vcoreSeconds": 200,
        "queueUsagePercentage": 0,
        "clusterUsagePercentage": 0,
        "preemptedResourceMB": 0,
        "preemptedResourceVCores": 0,
        "numNonAMContainerPreempted": 0,
        "numAMContainerPreempted": 0,
        "logAggregationStatus": "DISABLED",
        "unmanagedApplication": false,
        "appNodeLabelExpression": "",
        "amNodeLabelExpression": "",
        "resourceRequests": [
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 0
            },
            "relaxLocality": true,
            "resourceName": "*"
        },
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 20
            },
            "relaxLocality": true,
            "resourceName": "host3.domain.com"
        },
        {
            "capability": {
                "memory": 4096,
                "virtualCores": 1
            },
            "nodeLabelExpression": "",
            "numContainers": 0,
            "priority": {
                "priority": 20
            },
            "relaxLocality": true,
            "resourceName": "host4.domain.com"
        }]
      }
    ]
  }
}

2.2.2 应用统计接口

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/appstatistics?states=accepted,running,finished&applicationTypes=mapreduce

响应内容：

{
  "appStatInfo":
  {
    "statItem":
    [
       {
          "state" : "accepted",
          "type" : "mapreduce",
          "count" : 4
       },
       {
          "state" : "running",
          "type" : "mapreduce",
          "count" : 1
       },
       {
          "state" : "finished",
          "type" : "mapreduce",
          "count" : 7
       }
    ]
  }
}

2.2.3 应用详情

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/apps/application_1476912658570_0002

响应内容：

{
  "app": {
    "id": "application_1476912658570_0002",
    "user": "user2",
    "name": "word count",
    "queue": "default",
    "state": "FINISHED",
    "finalStatus": "SUCCEEDED",
    "progress": 100,
    "trackingUI": "History",
    "trackingUrl": "http://host.domain.com:8088/cluster/app/application_1476912658570_0002",
    "diagnostics": "...",
    "clusterId": 1476912658570,
    "applicationType": "YARN",
    "applicationTags": "",
    "priority": -1,
    "startedTime": 1476913457320,
    "finishedTime": 1476913761898,
    "elapsedTime": 304578,
    "amContainerLogs": "http://host.domain.com:8042/node/containerlogs/container_1476912658570_0002_02_000001/dr.who",
    "amHostHttpAddress": "host.domain.com:8042",
    "allocatedMB": -1,
    "allocatedVCores": -1,
    "runningContainers": -1,
    "memorySeconds": 206464,
    "vcoreSeconds": 201,
    "queueUsagePercentage": 0,
    "clusterUsagePercentage": 0,
    "preemptedResourceMB": 0,
    "preemptedResourceVCores": 0,
    "numNonAMContainerPreempted": 0,
    "numAMContainerPreempted": 0,
    "logAggregationStatus": "DISABLED",
    "unmanagedApplication": false,
    "appNodeLabelExpression": "",
    "amNodeLabelExpression": ""
  }
}

2.3 队列接口

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/apps/application_1399397633663_0003/queue

响应内容：

{
  "queue":"default"
}

2.4 Node节点接口

请求地址：

GET http://rm-http-address:port/ws/v1/cluster/nodes

响应内容：

{
  "nodes":
  {
    "node":
    [
      {
        "rack":"\/default-rack",
        "state":"RUNNING",
        "id":"host.domain.com:54158",
        "nodeHostName":"host.domain.com",
        "nodeHTTPAddress":"host.domain.com:8042",
        "lastHealthUpdate": 1476995346399,
        "version": "3.0.0-alpha2-SNAPSHOT",
        "healthReport":"",
        "numContainers":0,
        "usedMemoryMB":0,
        "availMemoryMB":8192,
        "usedVirtualCores":0,
        "availableVirtualCores":8,
        "resourceUtilization":
        {
          "nodePhysicalMemoryMB":1027,
          "nodeVirtualMemoryMB":1027,
          "nodeCPUUsage":0.016661113128066063,
          "aggregatedContainersPhysicalMemoryMB":0,
          "aggregatedContainersVirtualMemoryMB":0,
          "containersCPUUsage":0
        }
      },
      {
        "rack":"\/default-rack",
        "state":"RUNNING",
        "id":"host.domain.com:54158",
        "nodeHostName":"host.domain.com",
        "nodeHTTPAddress":"host.domain.com:8042",
        "lastHealthUpdate":1476995346399,
        "version":"3.0.0-alpha2-SNAPSHOT",
        "healthReport":"",
        "numContainers":0,
        "usedMemoryMB":0,
        "availMemoryMB":8192,
        "usedVirtualCores":0,
        "availableVirtualCores":8,
        "resourceUtilization":
        {
          "nodePhysicalMemoryMB":1027,
          "nodeVirtualMemoryMB":1027,
          "nodeCPUUsage":0.016661113128066063,
          "aggregatedContainersPhysicalMemoryMB":0,
          "aggregatedContainersVirtualMemoryMB":0,
          "containersCPUUsage":0
        }
      }
    ]
  }
}

2.5 其它接口

还有其它的接口就得自己根据实际项目情况去看了，本文不再赘述。

03 文末

本文主要整理了Yarn 相关的 REST API，并举出了一些例子，希望能帮助到大家，谢谢大家的阅读！

文章标签：
API
资源调度
网络架构
数据格式
XML
关键词：
API REST
API yarn
Yarn rest
Yarn api
yarn rest API
阿甘兄
目录
相关文章
江帅帅
|
8天前
|
安全 Java API
第7章 Spring Security 的 REST API 与微服务安全（2024 最新版）（上）
第7章 Spring Security 的 REST API 与微服务安全（2024 最新版）
江帅帅
28 0
第7章 Spring Security 的 REST API 与微服务安全（2024 最新版）（上）
实沈
|
30天前
|
前端开发 JavaScript API
基于React的简易REST API客户端设计与实现
基于React的简易REST API客户端设计与实现
实沈
21 3
懒鱼七忆
|
3月前
|
JSON 缓存 API
title: 深入理解REST API设计的最佳实践
title: 深入理解REST API设计的最佳实践
懒鱼七忆
36 0
Maynor
|
4月前
|
分布式计算 Hadoop Java
[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS
[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS
Maynor
54 1
Maynor
|
4月前
|
分布式计算 Hadoop API
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
✨[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS
Maynor
63 1
天行无忌
|
4月前
|
JSON 前端开发 生物认证
REST API 的指纹验证机制
REST API 的指纹验证机制
天行无忌
33 0
阿甘兄
|
5月前
|
JSON Kubernetes API
kubernetes REST Api详解（导入Swagger至Postman）
kubernetes REST Api详解（导入Swagger至Postman）
阿甘兄
110 1
bill19970108118
|
6月前
|
XML 安全 API
Rest API 开发分享
Rest API 开发分享
bill19970108118
49 0
x3d
|
JSON API PHP
禅道 Rest API 开发
在老的 PHP 系统中使用 PHP 5.3以后的库 所谓老的系统，是指没有使用PHP 5.3以上命名空间(namespace)特性编码的系统。 但是，只要你的系统运行在 PHP 5.3及以上的环境，在你的老系统中，是可以使用这些基于新特性如命名空间编码的库或代码的。
x3d
1781 0
技术交流18179014480
|
18天前
|
缓存 前端开发 API
API接口封装系列
API（Application Programming Interface）接口封装是将系统内部的功能封装成可复用的程序接口并向外部提供，以便其他系统调用和使用这些功能，通过这种方式实现系统之间的通信和协作。下面将介绍API接口封装的一些关键步骤和注意事项。
技术交流18179014480
34 2

热门文章

最新文章

  • 1
    npm，registry，镜像源，npm切换源，yarn，cnpm，taobao，nrs
  • 2
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 3
    yarn 的安装和使用
  • 4
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 5
    免费使用Kimi的API接口，kimi-free-api真香
  • 6
    【Hadoop Yarn】Yarn 工作机制
  • 7
    【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
  • 8
    【C/C++ 数据库 sqlite3】SQLite C语言API返回值深入解析
  • 9
    阿里云微服务引擎及 API 网关 2024 年 3 月产品动态
  • 10
    怎样获取当当网dangdang商品详情 API 返回值说明？
  • 1
    亚马逊API接口获取商品详情的全面指南
    58
  • 2
    从API到Agent：万字长文洞悉LangChain工程化设计
    103
  • 3
    如何在Linux使用docker部署Swagger Editor并实现无公网IP远程协同编辑API文档
    49
  • 4
    虾皮Shopee根据ID取商品详情API
    31
  • 5
    谷歌发布MediaPipe LLM Inference API，28亿参数模型本地跑
    81
  • 6
    【微信小程序】-- 使用 npm 包 - API Promise化（四十二）
    34
  • 7
    阿里云BssOpenAPI是一个基于阿里云开放API的服务
    144
  • 8
    零一万物API正式上线：支持输入30万汉字
    28
  • 9
    如何高效接入 Flink： Connecter / Catalog API 核心设计与社区进展
    289
  • 10
    DataWorks常见问题之使用API删除之前的部署文件失败如何解决
    22

    • 相关课程

    更多
  • 体验-K8S API 基础及Pod 基本应用
  • Hadoop 分布式资源管理框架 YARN

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第15讲】：Spring Boot 2.0 API与Spring REST Docs实战
  • Docker on Yarn 微服务实践
  • 深度学习+大数据-TensorFlow on Yarn

    • 相关实验场景

    更多
  • 快速体验智能体API应用
  • Elasticsearch Java API Client 开发
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）