Hadoop YARN学习之组件功能简述(3)

简介: Hadoop YARN学习之组件功能简述(3)1. YARN的三大组件功能简述:ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。NodeManager,位于每个节点上,管理该节点上用户作业和工作流。ApplicationMaster,用户作业生

Hadoop YARN学习之组件功能简述(3)

1. YARN的三大组件功能简述:

  • ResourceManager(RM)是集群的资源的仲裁者,
    • 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。
  • NodeManager,位于每个节点上,管理该节点上用户作业和工作流。
  • ApplicationMaster,用户作业生命周期管理者。
    • 是用户应用程序驻留的地方。

2. 三大组件构成了一个可扩展的、灵活的、高效的环境,来运行各种类型的大数据处理作业。

3. 组件功能协作简述

  • ResourceManager动态的分配特定节点来运行应用程序。
  • Container是绑定到特定集群节点的一组资源逻辑组合(如内存、核)
  • 为了执行和跟踪这些资源分配,ResourceManager与运行在每个节点上的NodeManager进程交互。
  • 基于可扩展性的需求,ResourceManager和NodeManager之间通过心跳来通信。
  • NodeManager负责本地可以资源的监控,故障报告以及Container生命周期的管理(如杀死和启动作业)。ResourceManager依赖NodeManager来维护集群的全局视图。

4. YARN调度组件

  • YARN有一个可插拔的调度器组件,根据不同的使用场景和用户需求,管理员可以选择简单的FIFO(先进先出),Capacity或者Fair Share Schedule。

    • FIFO先进先出
    • Capacity,允许多个组安全地共享一个大规模Hadoop集群。
    • Fair,公平调度器是将资源公平分配给应用的方法,使得所用在平均情况下随着时间的到相等的份额。
      • YARN Fair的新特性支持层次化队列。
    • YARN默认为Capacity调度组件

5. 在YARN中,MapReduce不再是工作流中的一部分,因为它只是一种ApplicationMaster控制的应用程序框架,在YARN环境下,其他框架已经可以使用或者正在开发中。

目录
相关文章
|
3月前
|
SQL 分布式计算 Hadoop
【赵渝强老师】Hadoop生态圈组件
本文介绍了Hadoop生态圈的主要组件及其关系,包括HDFS、HBase、MapReduce与Yarn、Hive与Pig、Sqoop与Flume、ZooKeeper和HUE。每个组件的功能和作用都进行了简要说明,帮助读者更好地理解Hadoop生态系统。文中还附有图表和视频讲解,以便更直观地展示这些组件的交互方式。
317 5
|
4月前
|
缓存 资源调度 前端开发
Yarn学习,Yarn安装,Yarn常用命令。这一篇即可(有需要再补充)
Yarn 是一个快速、可靠、安全的 JavaScript 包管理工具,旨在解决 npm 的一些不足之处。
259 5
|
4月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
115 1
|
4月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
116 5
|
4月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
52 4
|
4月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
228 5
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
75 4
|
4月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
221 4
|
4月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
138 4
|
4月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
63 2

相关实验场景

更多