《深入理解大数据：大数据处理与编程实践》一一2.3　集群分布式Hadoop系统安装基本步骤

本节书摘来自华章计算机《深入理解大数据：大数据处理与编程实践》一书中的第2章，第2.节,作者 主　编：黄宜华（南京大学）副主编：苗凯翔（英特尔公司），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.3　集群分布式Hadoop系统安装基本步骤

Hadoop安装时对HDFS和MapReduce的节点允许用不同的系统配置方式。在HDFS看来，节点分别为主控节点NameNode和数据存储节点DataNode，其中NameNode只有一个，DataNode可以有多个。在MapReduce看来，节点又可以分为作业主控节点JobTracker和任务执行节点TaskTracker，其中JobTracker只有一个，TaskTracker可以有多个。NameNode和JobTracker可以部署在不同的机器上，也可以部署在同一台机器上，但一般中小规模的集群通常都把NameNode和JobTracker安装配置在同一个主控服务器节点上。部署NameNode和JobTracker的机器是Master（主服务器），其余的机器都是Slaves（从服务器）。详细的安装和配制过程如下。
2.3.1　安装和配置JDK
集群分布式Hadoop系统的安装首先也需要在每台机器上安装JDK。和单机伪分布式一样，我们采用的版本为jdk-6u23-linux-x64。在集群中的每台机器上安装JDK，步骤如下：
1）将jdk-6u23-linux-x64-rpm.bin拷贝到所需要的安装目录下，如/usr/jdk。
2）执行./jdk-6u23-linux-x64-rpm.bin安装文件。
3）配置JAVA_HOME以及CLASS_PATH，vi进入/etc/profile，在文件最后加上如下语句：

JAVA_HOME=/usr/java/jdk1.6.0
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

保存退出,执行source /etc/profile使得配置文件生效。
4）执行java-version查看当前版本配置有没有生效。
5）执行以下命令分别进行编译和执行，查看结果是否正确。

$javac HelloWorld.java
$java HelloWorld

2.3.2　创建Hadoop用户
在所有机器上建立相同的用户名，例如名为“hadoop”的用户名。这一步使用如下命令实现：

#useradd –m hadoop
#passwd hadoop

成功建立Hadoop用户后,输入的密码就是该用户的密码。
2.3.3　下载安装Hadoop
和单机伪分布式一样，从Apache Hadoop发布页面（http://hadoop.apache.org/coases.html）下载一个稳定的发布包，再解压缩到本地文件系统中。在这里采用的Hadoop版本是Hadoop-1.2.1。
$tar –xzvf hadoop-1.2.1.tar.gz
2.3.4　配置SSH
该配置主要是为了实现在机器之间访问时免密码登录。在所有机器上建立.ssh目录，执行如下命令：

$mkdir .ssh

在NameNode上生成密钥对,执行如下命令：

$ssh-keygen –t rsa

然后一直按键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa中。接着执行如下命令：

$cd ~/.ssh
$cp id_rsa.pub authorized_keys
$scp authorized_keys datanode1:/home/hadoop/.ssh
$scp authorized_keys datanode2:/home.hadoop/.ssh

最后进入所有机器的.ssh目录,改变authorized_keys文件的许可权限:

$chmod 644 authorized_keys

这时从NameNode向其他机器发起SSH连接,只要在第一次登录时需要输入密码,以后则不再需要输入密码。
2.3.5　配置Hadoop环境
要在所有机器上配置Hadoop，首先在NameNode上进行配置，执行如下的解压缩命令：

$tar –xzvf /home/hadoop/hadoop-1.2.1.tar.gz

Hadoop的配置文件主要存放在hadoop安装目录下的conf目录中,主要有以下几个配置文件要修改:
conf/hadoop-env.sh：Hadoop环境变量设置。
conf/core-site.xml：主要完成NameNode的IP和端口设置。
conf/hdfs-site.xml：主要完成HDFS的数据块副本等参数设置。
conf/mapred-site.xml：主要完成JobTracker IP和端口设置。
conf/masters：完成Master节点IP设置。
conf/slaves：完成Slaves节点IP设置。
1.?编辑core-site.xml、hdfs-site.xml和mapred-site.xml
core-site.xml的文档内容如下所示：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="conf?iguration.xsl"?>
<!-- Put site-specif?ic property overrides in this f?ile. -->
<conf?iguration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs:// 192.168.1.253:9000</value>
<!—注意这里要填写自己的IP-->
</property>
</conf?iguration>

hdfs-site.xml的文档内容如下所示：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="conf?iguration.xsl"?>
<!-- Put site-specif?ic property overrides in this f?ile. -->
<conf?iguration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop_dir/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>f?ile:// /home/hadoop/hadoop_dir/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<!-副本数根据集群中Slave节点的数目而定,一般小于Slave节点数-->
<value>1</value>
</property>
</conf?iguration>

mapred-site.xml的文档内容如下所示：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="conf?iguration.xsl"?>
<!-- Put site-specif?ic property overrides in this f?ile. -->
<conf?iguration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.253:9001</value>
<!—注意这里要填写自己的IP-->
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/hadoop/hadoop_dir/mapred/local</value>
</property>
<property>
<name>mapreduce.jobtracker.system.dir</name>
<value>/home/hadoop/hadoop_dir/mapred/system</value>
</property>
</conf?iguration>

2.?编辑conf/masters
修改conf/masters文件为Master的主机名，每个主机名一行，此处即为NameNode。
3.?编辑conf/slaves
加入所有Slaves的主机名，即datanode1和datanode2。
4.?把Hadoop安装文件复制到其他节点上
要把Hadoop安装文件复制到其他节点上，需要执行如下命令：
$scp –r hadoop-1.2.1 datanode1:/home/hadoop
$scp –r hadoop-1.2.1 datanode2:/home/hadoop
5.?编辑所有机器的conf/hadoop-env.sh
将JAVA_HOME变量设置为各自的Java安装的根目录。
至此，Hadoop已经在集群上部署完毕。如果要新加入或删除节点，仅需修改所有节点的master和slaves配置文件。
2.3.6　Hadoop的运行
1.?格式化HDFS文件系统
在初次安装和使用Hadoop之前，需要格式化分布式文件系统HDFS，操作命令如下：

$bin/hadoop namenode -format

2.?启动Hadoop环境
启动Hadoop守护进程。在NameNode上启动NameNode、JobTracker和Secondary NameNode，
在datanode1和datanode2上启动DataNode和TaskTracker，并用如下jps命令检测启动情况：

$bin/start-all.sh
$jps

Namenode节点上启动正常结果如下所示：

$jps
14730 SecondaryNameNode
15099 Jps
14375 NameNode
14825 JobTracker

用户也可以根据自己的需要来执行如下命令：
1）start-all.sh：启动所有的Hadoop守护进程，包括NameNode、DataNode、JobTracker和TaskTracker。
2）stop-all.sh：停止所有的Hadoop守护进程。
3）start-mapred.sh：启动Map/Reduce守护进程，包括JobTracker和TaskTracker。
4）stop-mapred.sh：停止Map/Reduce守护进程。
5）start-dfs.sh：启动Hadoop DFS守护进程，包括NameNode和DataNode。
6）stop-dfs.sh：停止Hadoop DFS守护进程。
要停止Hadoop守护进程，可以使用下面的命令：
$bin/stop-all.sh
2.3.7　运行测试程序
下面用一个程序测试能否运行任务，示例程序是一个Hadoop自带的PI值的计算。第一个参数是指要运行的map的次数，第二个参数是指每个map任务取样的个数。
$hadoop jar $HADOOP_HOME/hadoop-examples-0.20.205.0.jar pi2 5
2.3.8　查看集群状态
当Hadoop启动之后，可以用jps命令查看一下它是不是正常启动。在NameNode节点上输入jps命令：

$jps
4706 JobTracker
4582 SecondaryNameNode
4278 NameNode
4889 Jps

在DataNode节点上输入jps命令：

$jps
4413 DataNode
4853 TaskTracker
4889 Jps

如果显示以上的信息，则Hadllop已表示正常启动。