十一、Hadoop完全分布式的搭建详情

hadoop完全分布式安装与配置

   

 在Hadoop集群模式的安装与配置中，Hadoop集群架构如图所示。

准备：共三台虚拟机，分别为master、slave1、slave2，完成如下配置操作。

1、修改hosts文件、存储主机名和IP映射。

       为方便后续操作这里更改为root用户进行操作。

（1）第一台计算机执行命令“vim /etc/sysconfig/network”修改主机名，如图所示。

更改内容为：

（2）第二台计算机执行命令“vim /etc/sysconfig/network”修改主机名，如图所示。

更改内容为：

（3）第三台计算机执行命令“vim /etc/sysconfig/network”修改主机名如图所示。

更改内容为：

（4）在每台Linux主机上（master，slave1，slave2），通过“vim /etc/hosts”命令，修改为如下内容修改IP地址映射，编辑结束后，按“:wq”键，保存并退出，如图所示。

（5）测试集群中各个节点之间的互通性（这里使用“ping”命令进行测试），如图所示。

2、随后，在集群的各个节点上配置SSH免密登录，实现master节点无密码登录各个Slave节点。

（1）master生成密钥对

       SSH为Secure Shell的缩写，由IETF的网络小组所制定。SSH为建立在应用层基础上的安全协议，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效地防止远程管理过程中的信息泄露问题。

       执行命令“ssh-keygen -t rsa”并且依次在系统等待输入时直接回车（一共4次回车）后,即可生成密钥对，如图所示。

进入生成的密钥存储路径/root/.ssh查看生成的密钥文件。

（2）分发公钥文件

       执行“ssh-copy-id [主机名]”命令，把本地的ssh公钥文件id_rsa.pub的内容分发到远程[主机名]指定主机对应目录下的authorized_keys文件中，如图所示。

（3）重复master配置操作

       在各Slave节点上，需要注意的是执行“ssh-copy-id [主机名]”命令时，需要更换[主机名]为“master”，“slave1”或“slave2”。

（4）免密登录测试

使用master节点登录各Slave节点的测试，如图所示。

使用“exit”命令登出，如图所示。

3、集群环境的配置

       在配置集群模式时，需要修改“/home/hadoop/etc/hadoop”目录中的配置文件，这里仅设置正常启动所必需的设置项，包括slaves、hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共7个文件，更多设置项可查看官方说明文档。

（1）在hadoop根目录下创建几个文件夹，如图所示。

（2）配置slaves文件，执行命令“vim  /home/hadoop/etc/hadoop/slaves”将master节点仅作为NameNode使用，将slaves文件中原来的localhost删除，并添加内容，如图所示。(注意文件内容不能留有其他空格)

更改为：

（3）配置jdk路径

配置hadoop-env.sh文件，如图所示。

配置yarn-env.sh文件，如图所示。

（4）配置文件

配置core-site.xml文件，如图所示。

配置hdfs-site.xml文件，如图所示。

 修改mapred-site.xml.template文件为mapred-site.xml如图所示：

 配置mapred-site.xml文件，如图所示。

 配置yarn-site.xml文件，如图所示。

（5）分发文件

       上述文件全部配置完成以后，需要把master节点上的/home/hadoop下的文件复制到各个Slave节点上，如图所示。

（6）格式化节点、启动、验证

       首次启动Hadoop集群时，需要在master节点执行节点的格式化操作，即执行命令“bin/hdfs namenode -format”，如图所示。

/

        如果在返回的信息中看到‘Exiting with status 0’，则表示执行格式化成功。如图所示。

       接下来即可启动Hadoop，在主机master上执行命令“sbin/start-all.sh”，启动进程，如图所示。

        依次在各个节点上执行命令“jps”，查看各个节点的进程，如图所示，如果可以看到如下相关进程，就表示各个节点安装和配置集群环境正确。

（7）Linux浏览器测试

       测试HDFS，在虚拟机浏览器地址栏中输入“http://master:50070”，进入HDFS信息界面，表明HDFS配置准确，如图所示。

        测试YARN，在虚拟机浏览器地址栏中输入“http://master:8088”，打开Web控制台，可以查看集群状态，如果DataNode中没有配置yarn-site.xml，则在网页中无法看到节点信息；如果配置了yarn-site.xml，则在网页中将会看到节点配置信息，如图所示。

          注意：如果在windows的浏览器中测试，需要保证该windows计算机可以正常访问到虚拟机中的相关计算机，并且需要修改windows计算机的hosts文件，实现master主机名与相应IP地址的映射，或者将“http://master:8088”中master修改为对应的IP地址进行测试。

至此，说明Hadoop完全分布式模式的安装与配置成功完成。