YARN的辅助机构角色

简介: YARN的辅助机构角色

YARN辅助角色

YARN的架构中除了核心角色,即:

ResourceManager:集群资源总管家

NodeManager:单机资源管家

辅助角色:ProxyServer保障WEB UI访问的安全性,JobHistoryServer,记录历史程序运行信息和日志

 

还可以搭配2个辅助角色使得YARN集群运行更加稳定

代理服务器(proxyserver):web Application Proxy web应用程序代理

历史服务器(JobHistoryServer):应用程序历史信息记录服务

 

web应用代理(Web Application Proxy

代理服务器,即web应用代理是YARN的一部分,默认情况下,它将作为资源管理器(RM)的一部分,但是可以配置在独立模式下运行,使用代理的原因是为了减少通过YARN进行基于网络的攻击的可能性

 

这是因为,YARN在运行时会提供一个WEB UI站点(同HDFSWEB UI站点一样)可供用户在浏览器中查看YARN的运行信息

image.png

对外提供WEB站点会有安全性问题,而代理服务器的功能就是最大限度保障对web ui的访问是安全的,比如:

警告用户正在访问一个不受信任的站点

剥离用户访问的Cookie

开启代理服务器,可以提高YARN在开放网络中的安全性(但是不是绝对安全只能是辅助提高一些)

 

代理服务器默认集成在了ResourceManager

也可以将其分离出来单独启动,如果要分离代理服务器

1,在yarn-site.xml中配置yarn.web-proxy.address参数即可

image.png

 

2.并通过命令启动他即可$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver

 

 

JobHistoryServer历史服务区

历史服务器的功能很简单:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看

 

JobHistoryServer历史服务器功能:
提供WEB UI站点,供用户在浏览器上查看程序日志

可以保留历史数据,随时查看历史运行程序信息

之后需要去配置文件里面进行配置

 

 

 

目录
相关文章
|
分布式计算 Hadoop Java
65 Hadoop工作流调度系统
65 Hadoop工作流调度系统
122 0
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
75 5
|
5月前
|
资源调度 分布式计算 Hadoop
YARN如何实现资源管理?
【6月更文挑战第19天】YARN如何实现资源管理?
60 13
|
4月前
|
缓存 资源调度 JavaScript
秒懂Yarn:从安装到配置的全流程详解
**Yarn**是Facebook推出的JavaScript包管理器,旨在提供更快、更安全的依赖管理。它通过并行安装、离线模式、版本锁定和友好的命令行界面提升效率。要安装Yarn,可以使用npm、Homebrew或Chocolatey。基本命令包括初始化项目(`yarn init`)、安装/移除/升级依赖(`yarn add/remove/upgrade`)。配置Yarn涉及设置`.yarnrc`文件,如更改registry。通过`yarn.lock`文件保证依赖一致性。文章还提供了使用Yarn进行API测试和项目管理的实战案例。
240 0
|
6月前
|
资源调度 分布式计算 监控
YARN【工作机制】
YARN【工作机制】
|
分布式计算 资源调度 Hadoop
Spark on Yarn集群模式搭建及测试
Spark on Yarn集群模式搭建及测试
328 0
|
资源调度 调度 容器
Yarn 的工作原理、流程【重要】
Yarn 的工作原理、流程【重要】
149 0
|
SQL 资源调度 分布式计算
配置 YARN 并启动测试|学习笔记
快速学习配置 YARN 并启动测试
配置 YARN 并启动测试|学习笔记
|
资源调度 Kubernetes Java
扩展Yarn资源模型详解1
扩展Yarn资源模型详解1
159 0
|
资源调度 Shell API
Hadoop3.0扩展Yarn资源模型详解2:资源Profiles说明
Hadoop3.0扩展Yarn资源模型详解2:资源Profiles说明
144 0