1.部署集群需要做的操作
修改YARN和MapReduce相关配置文件
仅修改YARN的相关进程(MapReduce无需启动如何进程,需要时会运行YARN内部(容器中))
2.查看YARN运行页面
Hadoop YARN分布式资源调度,会启动
ResourceManager进程作为管理节点
NodeManager进程作为工作节点
ProxyServer,JobHistoryServer这两个辅助节点
那么,MapReduce呢
MapReduce运行在YARN容器内,无需启动独立进程
所以关于MapReduce和YARN的部署,其实是两件事:
关于Maprdeuce:修改相关配置文件,但是没有进程可以启动
关于YARN:修改相关配置文件,并启动ResourceManager,NodeManager进程以及辅助进程(代理服务器,历史服务器)
部署说明:
集群规划:
有3台服务器,其中node1配置较高
集群如下
MapReduce配置文件
在$HADOOP_HOME/etc/hadoop文件夹内,修改mapred-env.sh文件,添加如下环境变量
mapred-site.xml文件添加
yarn-env.sh文件
yarn-site.xml
核心配置
额外配置
配置好文件之后,和之前的HDFS一样分发文件到root2,root3,分发到其他的服务器节点中
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml root2:`pwd`/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml root3:`pwd`/
分发完成配置文件,就可以启动YARN的相关进程了
集群启动命令介绍:
一键启动YARN集群:$HADOOP_HOME/sbin/start-yarn.sh
会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定哪台机器上启动resourcemanager
会基于workers文件配置的主机启动NodeManager
一键停止YARN集群:$HADOOP_HOME/sbin/stop-yarn.sh
在当前机器,单独启动或停止进程
$HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager | nodemanager | proxyserver
start和stop决定启动和停止
历史服务器启动和停止
$HADOOP_HOME/bin/mapred --daemon start | stop | historyserver
启动YARN集群
在root1服务器,以hadoop用户执行
1.首先执行:$HADOOP_HOME/sbin/start-yarn.sh
之后执行$HADOOP_HOME/bin/mapred --daemon start historyserver(历史服务器)
访问root1:8088页面