大数据开发之Hadoop 伪分布式安装（3）

我们接着上一节，来配置Hadoop.

Hadoop 环境配置

1、配置 IP 和主机名

下面分别通过命令查看本机的 IP 地址和主机名，并将 IP 地址和主机名写进 /etc/hosts 配置文件中，步骤如下：

(1) 查看本机的 IP 地址，命令如下：

sudo apt install net-tools ifconfig

或者直接使用ip addr

执行结果如下图所示：

从上图中可知本机的 IP 地址为 10.0.2.15。说明：此 IP 地址为虚拟机自动分配的地址，可以自己另行设置。

(2) 查看本机的主机名，命令如下：

hostname

执行结果如下图所示：

从上图中可知本机的主机名为 bigdata01-VirtualBox。

(3) 将 IP 地址和主机名写进 /etc/hosts 配置文件中，打开 /etc/hosts 命令如下：

sudo gedit /etc/hosts

修改完成后，单击保存按钮，关闭文件。

2、设置 Hadoop 环境变量

运行 Hadoop 必须设置很多环境变量，可是如果每次登录时都必须重新设置就会很烦琐，因此，可以在 ~/.bashre 文件中设置每次登录时都会自动运行一次环境变量设置，设置步骤如下：

(1) 在终端输入如下命令：

sudo gedit ~/.bashrc

执行命令之后，就会打开 ~/.bashrc 文件，在原有代码的最下方的位置添加如下代码：

#设置JDK安装路径。exportJAVA_HOME=/home/bigdata01/JDK/jdk1.8#设置Hadoop的安装目录。exportHADOOP_HOME=/home/bigdata01/hadoop-3.2.0#设置PATHexportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbin#设置Hadoop其他环境变量将这些环境变量设置为$HADOOP_HOME。exportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHADOOP_HDFS_HOME=$HADOOP_HOMEexportYARN_HOME=$HADOOP_HOME#链接库的设置exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportHADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"exportJAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

编辑好 ~/.bashrc 文件后，单击 保存 按钮后，再关闭 gedit，如下图所示：

(2) 使设置生效。在终端输入命令：source ~/.bashrc。或者重启系统，也会使得设置生效。

(3) 使用 hadoop version 命令测试是否配置成功，执行结果如下图所示：

出现上图所示的结果，则说明 Hadoop 环境已经配置成功了。

3、修改 Hadoop 配置文件

接下来要进行 Hadoop 的配置设置，需要修改的配置文件有：Hadoop-env.sh、core-site.xml、yarn-site.xml、mapred-site.xml 和 hdfs-site.xml，最后还要修改一下 /etc/profile 文件。

(1) 修改 Hadoop-env.sh 文件。Hadoop-env.sh 是 Hadoop 的配置文件，在此文件中需要设置 Java 的安装路径。首先通过终端打开 Hadoop-env.sh 文件，代码如下：

sudo gedit ./hadoop-3.2.0/etc/hadoop/hadoop-env.sh

Hadoop-env.sh 文件打开后，找到 # export JAVA_HOME 处(可以使用快捷键  查找)，在等号后面添加 JDK 的安装位置，并将 export 前面的 # 号删掉，如下图所示：

修改完毕后，单击 保存 按钮，关闭 Hadoop-env.sh 文件。

(2) 修改 core-site.xml 文件，通过终端打开 core-site.xml 文件，代码如下：

sudo gedit ./hadoop-3.2.0/etc/hadoop/core-site.xml

core-site.xml 文件打开后，需要设置 HDFS 的默认名称、地址和端口号，将如下代码添加到 <configuration>标签之间

<!--配置HDFS的主节点，NameNode--><property><name>fs.defaultFS</name><value>hdfs://10.0.2.15:9000</value></property><!--配置HADOOP运行时产生文件的存储目录--><property><name>hadoop.tmp.dir</name><value>/home/bigdata01/hadoop-3.2.0/dataNode_1_dir</value></property>

如下图所示：

说明：代码中的 10.0.2.15 为笔者的虚拟机的 IP 地址，读者可以通过 ifconfig 命令查看本机的 IP 地址。XML文件中， 中间的内容为注释。修改完毕后，单击 保存 按钮，关闭 core-site.xml 文件。

(3) 修改 yarn-site.xml 文件。YARN 的站点配置文件是 yarn-site.xml，通过终端打开 yarn-site.xml 文件的代码如下：

sudo gedit ./hadoop-3.2.0/etc/hadoop/yarn-site.xml

YARN-site.xml 文件打开后，将如下代码添加到 <configuration>标签之间，代码如下：

<!--配置ReourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>10.0.2.15</value></property><!--配置NodeManager执行任务的方式:shuffle:洗牌--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

修改完毕后，单击 保存 按钮，关闭 YARN-site.xml 文件。如果 YARN 集群有多个节点，还需要配置 yarn.resourcemanager.address 等参数。

(4) 修改 mapred-site.xml 文件。mapred-site.xml 为计算框架文件，用于设置监控 Map 与 Reduce 程序的 JobTracker 任务分配情况以及 TaskTracker 任务运行情况。打开 mapred-site.xml 文件，命令如下：

sudo gedit ./hadoop-3.2.0/etc/hadoop/mapred-site.xml

mapred-site.xml 文件打开后，将如下代码添加到 <configuration>标签之间，设置 mapreduce 的框架为 yarn。

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

修改完毕后，单击 保存 按钮，关闭 mapred-site.xml 文件。

(5) 修改 hdfs-site.xml 文件。hdfs-site.xml 用于设置 HDFS 分布式文件系统。该文件指定与 HDFS 相关的配置信息。需要修改 HDFS 默认的块的副本属性，因为 HDFS 默认情况下每个数据块保存 3 个副本，而在伪分布式模式下运行时，由于只有一个数据节点，所以需要将副本个数改为1；否则 Hadoop 程序会报错。打开 hdfs-site.xml 文件，命令如下：

sudo gedit ./hadoop-3.2.0/etc/hadoop/hdfs-site.xml

同样，hdfs-site.xml 文件打开后，将如下代码添加到<configuration>标签之间。

<!--指定DataNode存储block的副本数量--><property><name>dfs.replication</name><value>1</value></property><!--指定namenode数据存储目录--><property><name>dfs.namenode.name.dir</name><value>file:///home/bigdata01/hadoop-3.2.0/hadoop_data/hdfs/namenode</value></property><!--指定datanode数据存储目录--><property><name>dfs.datanode.data.dir</name><value>file:///home/bigdata01/hadoop-3.2.0/hadoop_data/hdfs/datanode</value></property><!--指定ip地址--><property><name>dfs.http.address</name><value>10.0.2.15:50070</value></property>

修改完毕后，单击 保存 按钮，关闭 hdfs-site.xml 文件。注意：将dfs.replication配置成超过3的数是没有意义的，因为HDFS的最大副本数就是3。

(6) 修改 /etc/profile 文件。

sudo gedit /etc/profile export HADOOP_HOME=./hadoop-3.2.0 :$HADOOP_HOME/bin:$HADOOP_HOME/sbin

如下图所示：

4、创建并格式化文件系统

在上面的小节，hdfs-site.xml 文件中，指定了 NameNode 和 DataNode 的数据存储目录，但是这两个目录并没有创建，在本小节中，创建 NameNode 和 DataNode 的数据存储目录，并进行格式化。创建 NameNode 和 DataNode 的数据存储目录，命令如下：

创建 NameNode 数据存储目录。mkdir -p ./hadoop-3.2.0/hadoop_data/hdfs/namenode

创建 DataNode 数据存储目录。mkdir -p ./hadoop-3.2.0/hadoop_data/hdfs/datanode

创建 HADOOP 运行时产生文件的存储目录。mkdir -p ./hadoop-3.2.0/dataNode_1_dir/datanode

如果 NameNode 目录中已经有数据，那么可以将 HDFS 进行格式化。命令：hdfs namenode -format

启动与关闭 Hadoop

通过前面的小节，已经完成了 Hadoop 伪分布式单节点的安装，现在开始启动 Hadoop。使用命令 start-all.sh，来同时启动 HDFS 和 YARN，执行结果如下图所示：

说明：start-all.sh命令可以拆分为start-dfs.sh和start-yarn.sh，分别用来启动HDFS和YARN。在启动Hadoop时，用这两种方式都可以。

下面通过 jps 命令检验一下是否全部开启 Hadoop 的守护进程，执行结果如图所示：

在上图的结果图中，DataNode、SecondaryNameNode 和 NameNode 是文件系统 HDFS 的进程，NodeManager、ResourceManager 是 YARN 的进程。只有这 5 个进程全部启动，才说明 Hadoop 启动成功了。

关闭 Hadoop 的命令：stop-all.sh，执行结果如下图所示：

说明：stop-all.sh命令可以拆分为stop-dfs.sh和stop-yarn.sh，分别用来关闭HDFS和YARN。在关闭Hadoop时，使用“stop-all.sh”或者“stop-dfs.sh”+“stop-yarn.sh”这两种方式都可以。