YARN的辅助机构角色

简介: YARN的辅助机构角色

YARN辅助角色

YARN的架构中除了核心角色,即:

ResourceManager:集群资源总管家

NodeManager:单机资源管家

辅助角色:ProxyServer保障WEB UI访问的安全性,JobHistoryServer,记录历史程序运行信息和日志

 

还可以搭配2个辅助角色使得YARN集群运行更加稳定

代理服务器(proxyserver):web Application Proxy web应用程序代理

历史服务器(JobHistoryServer):应用程序历史信息记录服务

 

web应用代理(Web Application Proxy

代理服务器,即web应用代理是YARN的一部分,默认情况下,它将作为资源管理器(RM)的一部分,但是可以配置在独立模式下运行,使用代理的原因是为了减少通过YARN进行基于网络的攻击的可能性

 

这是因为,YARN在运行时会提供一个WEB UI站点(同HDFSWEB UI站点一样)可供用户在浏览器中查看YARN的运行信息

image.png

对外提供WEB站点会有安全性问题,而代理服务器的功能就是最大限度保障对web ui的访问是安全的,比如:

警告用户正在访问一个不受信任的站点

剥离用户访问的Cookie

开启代理服务器,可以提高YARN在开放网络中的安全性(但是不是绝对安全只能是辅助提高一些)

 

代理服务器默认集成在了ResourceManager

也可以将其分离出来单独启动,如果要分离代理服务器

1,在yarn-site.xml中配置yarn.web-proxy.address参数即可

image.png

 

2.并通过命令启动他即可$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver

 

 

JobHistoryServer历史服务区

历史服务器的功能很简单:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看

 

JobHistoryServer历史服务器功能:
提供WEB UI站点,供用户在浏览器上查看程序日志

可以保留历史数据,随时查看历史运行程序信息

之后需要去配置文件里面进行配置

 

 

 

目录
相关文章
|
Shell iOS开发 MacOS
WPF疑难问题之Treeview中HierarchicalDataTemplate多级样式
WPF疑难问题之Treeview中HierarchicalDataTemplate多级样式
699 0
|
Linux
linux mv移动文件命令详解与替换强制覆盖多个文件
命令语 法 mv [-bfiuv][–help][–version][-S <附加字尾>][-V <方法>][源文件或目录][目标文件或目录]
3901 0
|
传感器 C# Android开发
深度解析Uno Platform中的事件处理机制与交互设计艺术:从理论到实践的全方位指南,助您构建响应迅速、交互流畅的跨平台应用
Uno Platform 是一款开源框架,支持使用 C# 和 XAML 开发跨平台原生 UI 应用,兼容 Windows、iOS、Android 及 WebAssembly。本文将介绍 Uno Platform 中高效的事件处理方法,并通过示例代码展示交互设计的核心原则与实践技巧,帮助提升应用的用户体验。事件处理让应用能响应用户输入,如点击、触摸及传感器数据变化。通过 XAML 或 C# 添加事件处理器,可确保及时反馈用户操作。示例代码展示了一个按钮点击事件处理过程。此外,还可运用动画和过渡效果进一步增强应用交互性。
290 57
|
存储 分布式计算 Hadoop
Hadoop日志纪录篇
关于Hadoop日志记录的详细解析,涵盖了日志类型、存储位置、如何查看和管理日志,以及日志聚合等。
162 0
Hadoop日志纪录篇
|
10月前
|
消息中间件 存储 Kafka
2024最全Kafka集群方案汇总
Apache Kafka 是一个高吞吐量、可扩展、可靠的分布式消息系统,广泛应用于数据驱动的应用场景。Kafka 支持集群架构,具备高可用性和容错性。其核心组件包括 Broker(服务器实例)、Topic(消息分类)、Partition(有序消息序列)、Producer(消息发布者)和 Consumer(消息消费者)。每个分区有 Leader 和 Follower,确保数据冗余和高可用。Kafka 2.8+ 引入了不依赖 Zookeeper 的 KRaft 协议,进一步简化了集群管理。常见的集群部署方案包括单节点和多节点集群,后者适用于生产环境以确保高可用性。
559 0
|
12月前
|
机器学习/深度学习 存储 人工智能
梯度累积的隐藏陷阱:Transformer库中梯度累积机制的缺陷与修正
在本地微调大规模语言模型时,由于GPU显存限制,通常采用梯度累积技术来模拟大批次训练。然而,实际研究表明,梯度累积方法在主流深度学习框架中会导致模型性能显著下降,尤其是在多GPU环境中。本文详细探讨了梯度累积的基本原理、应用场景及存在的问题,并通过实验验证了修正方案的有效性。研究指出,该问题可能在过去多年中一直存在且未被发现,影响了模型的训练效果。
828 4
梯度累积的隐藏陷阱:Transformer库中梯度累积机制的缺陷与修正
|
缓存 自然语言处理 JavaScript
Web服务器的动态内容生成与处理
【8月更文第28天】在Web开发领域,动态内容生成是指根据用户请求实时生成页面内容的过程。这与静态内容生成不同,后者的内容在部署时就已经确定,不会随用户的请求而改变。动态内容生成通常依赖于服务器端脚本语言,例如PHP、Node.js等,它们能够根据不同的请求参数生成特定的响应数据。本文将探讨几种流行的服务器端脚本语言在动态网页生成中的作用及其优化方法,并提供相应的代码示例。
384 0
|
Java Spring
Spring Boot+Netty实现远程过程调用(RPC)
Spring Boot+Netty实现远程过程调用(RPC)
325 0
|
消息中间件 Kafka Shell
Docker安装kafka
Docker安装kafka
3716 0