YARN辅助角色
YARN的架构中除了核心角色,即:
ResourceManager:集群资源总管家
NodeManager:单机资源管家
辅助角色:ProxyServer保障WEB UI访问的安全性,JobHistoryServer,记录历史程序运行信息和日志
还可以搭配2个辅助角色使得YARN集群运行更加稳定
代理服务器(proxyserver):web Application Proxy web应用程序代理
历史服务器(JobHistoryServer):应用程序历史信息记录服务
web应用代理(Web Application Proxy)
代理服务器,即web应用代理是YARN的一部分,默认情况下,它将作为资源管理器(RM)的一部分,但是可以配置在独立模式下运行,使用代理的原因是为了减少通过YARN进行基于网络的攻击的可能性
这是因为,YARN在运行时会提供一个WEB UI站点(同HDFS的WEB UI站点一样)可供用户在浏览器中查看YARN的运行信息
对外提供WEB站点会有安全性问题,而代理服务器的功能就是最大限度保障对web ui的访问是安全的,比如:
警告用户正在访问一个不受信任的站点
剥离用户访问的Cookie等
开启代理服务器,可以提高YARN在开放网络中的安全性(但是不是绝对安全只能是辅助提高一些)
代理服务器默认集成在了ResourceManager中
也可以将其分离出来单独启动,如果要分离代理服务器
1,在yarn-site.xml中配置yarn.web-proxy.address参数即可
2.并通过命令启动他即可$HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver
JobHistoryServer历史服务区
历史服务器的功能很简单:记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看
JobHistoryServer历史服务器功能:
提供WEB UI站点,供用户在浏览器上查看程序日志
可以保留历史数据,随时查看历史运行程序信息
之后需要去配置文件里面进行配置