【大数据开发技术】实验01-Hadoop安装部署

Hadoop安装部署

虚拟机数量：3

系统版本：Centos 7.5

Hadoop版本： Apache Hadoop 2.7.3

主节点信息：

1. 操作系统：CentOS7.5
   
2. 软件包位置：/home/zkpk/tgz
   
3. 数据包位置：/home/zkpk/experiment
   

从节点信息：

1. 操作系统：CentOS7.5
   

1. 软件包位置：/home/zkpk/tgz
   
2. 数据包位置：/home/zkpk/experiment
   

从节点信息：

1. 操作系统：CentOS7.5
   
2. 软件包位置：/home/zkpk/tgz
   
3. 数据包位置：/home/zkpk/experiment
   

一、实验目标

1. 掌握VMware虚拟机的下载和安装。
2. 掌握Linux操作系统Ubuntu或CentOS的下载和安装方法。
3. 掌握Linux操作系统的基本命令。
4. 掌握主机名和主机列表配置方法。
5. 掌握时钟同步配置方法。
6. 掌握JDK安装配置方法。

1. 熟悉查看防火墙状态、关闭防火墙的命令。
2. 掌握免密钥登录配置方法。
3. 掌握配置部署hadoop集群方法，理解相关配置文件作用。
4. 掌握启动hadoop集群方法。

二、实验要求

1. 给出每步操作成功后的效果的截图，最终效果是检查集群启动成功截图。
2. 对本次实验工作进行全面的总结。

三、实验内容

1. 登录大数据实验室，ping一个外网网址，确保能够ping通。
2. 配置主机名，配置hosts列表。（临时设置主机名，名字用自己的姓名拼音，最后设置回原有主机名）。
3. 配置时钟同步。

防火墙设置：查看防火墙状态、关闭防火墙、开启防火墙、禁止开机启动防火墙。

语句：systemctl status firewalld可以查询防火墙的状态（默认为关闭）

语句：systemctl start firewalld.service开启防火墙（此时查询，防火墙已经开启）

语句：systemctl stop firewalld.service 可以关闭防火墙（此时查询防火墙状况，为关闭）

语句：systemctl disable firewalld.service禁止开机启动防火墙（此时查询，防火墙为关闭）

1. 安装JDK，测试java是否配置成功(创建一个用自己名字拼音命名的Java类，类名和文件内容自拟)。
2. 配置免密钥登录，在master机器上远程登录slave01或slave02。
3. 安装部署Hadoop集群，通过实例验证集群配置成功。

四、实验步骤

备注：给出每一个操作步骤成功的效果截图，也可以自己设置实验步骤，完成集群配置，并通过实例验证集群配置成功，下面实验步骤供参考。

1. 登录大数据实验室，进入实验，打开一个终端，ping一个外网网址，确保能够ping通。
   
   

1. 配置主机名，配置hosts列表。
   

• 2.1 操作需要root权限，所以先切换成root用户，密码：zkpk

[zkpk@localhost ~]$ su root

• 2.2 使用gedit编辑主机名文件

[root@localhost ~]# gedit /etc/hostname

• 2.3 临时设置主机名，名字用自己的姓名拼音，检测主机名是否修改成功：bash命令让上一步操作生效，最后设置回原有主机名

[root@localhost ~]# hostname master
[root@localhost zkpk]# bash
[root@master zkpk]# hostname
master

• 2.4 临时设置主机名为slave01，检测主机名是否修改成功：bash命令让上一步操作生效
  
• 2.5 临时设置主机名为slave02，检测主机名是否修改成功：bash命令让上一步操作生效
  
• 2.6 配置hosts列表
  
  

3. 配置时钟同步。
   
   
4. 
   
   
5. 查看防火墙状态、关闭防火墙。
   
   
6. 配置免密钥登录，在master机器上远程登录slave01或slave02。
   
   
   
   
   
7. 安装JDK。
   

6.1 切换root用户，移除系统自带的jdk

6.2 创建存放jdk文件目录，将/home/zkpk/tgz下的JDK压缩包解压到/usr/java目录下

6.3 配置zkpk用户环境变量

6.4 使环境变量生效

6.5 查看、测试java是否配置成功(创建一个用自己名字拼音命名的Java类，类名和文件内容自拟)：

7. 安装部署Hadoop集群。
   说明：每个节点上的Hadoop配置基本相同，在master节点操作，然后复制到slave01、slave02两个节点。

7.1 将/home/zkpk/tgz/hadoop目录下的Hadoop压缩包解压到/home/zkpk目录下

7.2 配置hadoop-env.sh文件使用gedit命令修改hadoop-env.sh文件修改JAVA_HOME环境变量

7.3 配置yarn-env.sh文件，使用gedit命令修改yarn-env.sh文件，修改JAVA_HOME环境变量

7.4 配置core-site.xml 文件，使用gedit命令修改core-site.xml文件

7.5 配置hdfs-site.xml文件使用gedit命令修改hdfs-site.xml文件

7.6 配置yarn-site.xml文件，使用gedit命令修改yarn-site.xml文件

7.7 配置mapred-site.xml文件，复制mapred-site-template.xml文件，使用gedit编辑mapred-site.xml文件

7.8 配置slaves文件，使用gedit编辑slaves文件

• 
  
• 7.9 将配置好的hadoop文件夹复制到从节点，使用scp命令将文件夹复制到slave01、slave02上【说明：因为之前已经配置了免密钥登录，这里可以直接免密钥远程复制】
  
  
• 7.10 格式化hadoop环境变量，格式化hadoop文件目录
  
  
• 7.11 启动Hadoop集群（在master上执行）运行start-all.sh命令。【说明：格式化后首次执行此命令，提示输入yes/no时，输入yes】
  
• 7.12 查看进程是否启动，分别在master，slave01和slave02终端执行jps命令
  
  

7.13 Web UI查看集群是否成功启动

（1）在master上打开Firefox浏览器，在浏览器地址栏中输入http://master:50070/，检查namenode 和datanode 是否正常

• （2）打开浏览器新标签页，地址栏中输入http://master:18088/，检查Yarn是否正常
  
  
• 7.14 运行PI实例检查集群是否成功，最后输出：Estimated value of Pi is 3.20000000000000000000