YARN的辅助机构角色

简介: YARN的辅助机构角色

YARN辅助角色

YARN的架构中除了核心角色,即:

ResourceManager:集群资源总管家

NodeManager:单机资源管家

辅助角色:ProxyServer保障WEB UI访问的安全性,JobHistoryServer,记录历史程序运行信息和日志

 

还可以搭配2个辅助角色使得YARN集群运行更加稳定

代理服务器(proxyserver):web Application Proxy web应用程序代理

历史服务器(JobHistoryServer):应用程序历史信息记录服务

 

web应用代理(Web Application Proxy

代理服务器,即web应用代理是YARN的一部分,默认情况下,它将作为资源管理器(RM)的一部分,但是可以配置在独立模式下运行,使用代理的原因是为了减少通过YARN进行基于网络的攻击的可能性

 

这是因为,YARN在运行时会提供一个WEB UI站点(同HDFSWEB UI站点一样)可供用户在浏览器中查看YARN的运行信息

image.png

对外提供WEB站点会有安全性问题,而代理服务器的功能就是最大限度保障对web ui的访问是安全的,比如:

警告用户正在访问一个不受信任的站点

剥离用户访问的Cookie

开启代理服务器,可以提高YARN在开放网络中的安全性(但是不是绝对安全只能是辅助提高一些)

 

代理服务器默认集成在了ResourceManager

也可以将其分离出来单独启动,如果要分离代理服务器

1,在yarn-site.xml中配置yarn.web-proxy.address参数即可

image.png

 

2.并通过命令启动他即可$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver

 

 

JobHistoryServer历史服务区

历史服务器的功能很简单:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看

 

JobHistoryServer历史服务器功能:
提供WEB UI站点,供用户在浏览器上查看程序日志

可以保留历史数据,随时查看历史运行程序信息

之后需要去配置文件里面进行配置

 

 

 

目录
相关文章
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
人工智能 编解码 安全
[译][AI OpenAI-doc] 视觉
学习如何使用 GPT-4 来理解图像。具有视觉功能的 GPT-4 Turbo 允许模型接收图像并回答与之相关的问题。了解图像上传、处理、成本计算、模型限制等详细信息。
|
JavaScript
HTTP/2 协议-服务端主动推送消息
HTTP/2 协议-服务端主动推送消息
968 0
|
关系型数据库 MySQL PostgreSQL
MySQL和PostgreSQL的常用语法差异
背景 在去年的DBMS评比中,PostgreSQL夺冠,PostgreSQL一直保持上升姿态,越来越多的客户选择使用PostgreSQL,还有一部分客户从MySQL迁往PostgreSQL,那PostgreSQL和MySQL对于开发者来说的差异在哪里呢?末学对比了下语法差异,不一样的地方用红色标记了出来,供大家参考。
14868 0
|
6月前
|
人工智能 自然语言处理 Shell
2026最新:OpenClaw对接阿里云百炼API图文教程,代码 + 配置全解析
2026最新OpenClaw(原Moltbot/Clawdbot)对接阿里云百炼API保姆级教程:含安装、环境变量配置、JSON配置详解及qwen3-max等模型调用验证,支持Coding Plan套餐,新客首月仅0.3元/天。
2766 1
|
9月前
|
自然语言处理 供应链 数据可视化
跨境卖家如何破解黑五发货噩梦,从痛点拆解到全景方案及案例验证
黑五旺季订单暴增,跨境卖家却面临排仓率78%、平均延误7.2天、成本飙升、合规风险等“后遗症”。本文结合行业数据与实战案例,深入剖析订单积压、物流拥堵、多平台协同难等五大痛点,揭示供应链失衡、物流单一、技术滞后等深层原因,提出“科学备货+多元物流+智能工具”破局方案,并分享新菲特、京东物流等成功实践,助力卖家借助实在Agent等智能自动化工具实现高效履约,打赢黑五发货攻坚战。
446 2
|
存储 Kubernetes 数据中心
在K8S中,同⼀个Pod内不同容器哪些资源是共用的,哪些资源是隔离的?
在K8S中,同⼀个Pod内不同容器哪些资源是共用的,哪些资源是隔离的?
|
域名解析 数据安全/隐私保护 开发者
站长实战指南:从域名注册到备案,国内建站必知事项
本文详细介绍了域名注册、备案及解析的全流程,涵盖国内服务商(如阿里云、腾讯云)的域名选购、实名认证、费用参考及避坑建议。同时解析了域名备案的具体步骤与注意事项,并对比了备案与免备案域名的优劣势。针对不同需求,提供了大陆备案和香港/海外免备案的选择方案。最后提醒政策风险,建议企业优先备案,个人开发者根据业务场景灵活选择,确保网站合法合规运行。
4041 3
|
编解码 前端开发 JavaScript
跨平台兼容性
【10月更文挑战第31天】跨平台兼容性
780 2
|
人工智能
写歌词的技巧和方法基础教程:引领你走进音乐世界,妙笔生词智能写歌词软件
音乐是灵魂的语言,歌词则是承载灵魂的载体。本文介绍写歌词的基础技巧,包括寻找灵感、确定主题、构建结构和运用语言,同时推荐《妙笔生词智能写歌词软件》作为创作助手,助力你走进丰富多彩的音乐世界。

热门文章

最新文章