本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.4节，作者： 蒋燚峰 译者： 苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.4 安装Hadoop
完全分布式的HBase要运行在HDFS之上。对于完全分布式的HBase集群来说，其主守护进程（HMaster）通常要运行在HDFS主节点所在的服务器（NameNode）上，而其从守护进程（HRegionServer）要运行在HDFS从节点所在的服务器（我们称之为DataNode）上。
HBase并不必须使用Hadoop MapReduce，所以我们也不需要启动MapReduce的守护进程。本节也会对MapReduce的安装进行介绍，因为你毕竟有可能要在HBase上运行MapReduce。对于一个小型的Hadoop集群来说，我们通常会在NameNode服务器上运行一个MapReduce主守护进程（JobTracker），在各Datanode服务器上运行MapReduce从守护进程（TaskTracker）。
本节将介绍Hadoop的安装。我们将用一个主节点（master1）来运行NameNode和JobTracker。另外，我们还将安装3个从节点（slave1到slave3），这三个节点将分别用来运行DataNode和TaskTracker。
1.4.1 准备
你需要4个小EC2实例，你可以通过下面这条命令来获得4个小EC2实例。
$ec2-run-instances ami-77287b32 -t m1.small -n 4 -k your-key-pair
对于所有这4个实例，必须如“1.3 Amazon EC2的安装及准备”一节所述的那样进行正确的设置。除了NTP和DNS的设置之外，所有服务器上还都必须安装Java。
我们将使用hadoop用户来作为所有Hadoop守护进程和文件的所有者。所有Hadoop文件和数据都将存储在/usr/local/hadoop目录下。因此，要预先在所有服务器上添加hadoop用户并创建/usr/local/hadoop目录。
我们还要安装一个Hadoop客户端节点。我们将使用前一节中已配置好的client1节点来作为客户端节点。因此，在client1上也要安装Java并准备好hadoop用户和目录。
1.4.2 操作步骤
安装一个完全分布式运行的Hadoop集群的步骤如下。
1．为了能SSH登录到集群的所有节点上，需要在主节点上生成hadoop用户的公共密钥。
hadoop@master1$ ssh-keygen -t rsa -N ""
这个命令将在主节点上为hadoop用户创建一个公共密钥：～/.ssh/id_rsa.pub。
2．在所有从节点和客户端节点中添加hadoop用户的公共密钥，以使我们可以从主节点对该节点进行SSH登录。
hadoop@slave1$ mkdir ~/.ssh
hadoop@slave1$ chmod 700 ~/.ssh
hadoop@slave1$ cat >> ~/.ssh/authorized_keys
3．复制上一步生成的hadoop用户公共密钥的内容，将其粘贴到～/.ssh/ authorized_keys文件中。然后，使用如下命令修改该文件的权限。
hadoop@slave1$ chmod 600 ~/.ssh/authorized_keys
4．从Hadoop的官方网站（http://www.apache.org/dyn/closer.cgi/hadoop/common/）获取最新、稳定且支持HBase的Hadoop版本。在写作本章时，支持HBase的Hadoop的最新稳定版本是1.0.2版。下载压缩包并将其解压到我们为Hadoop而设的root目录中，然后再添加一个符号链接和环境变量。
hadoop@master1$ ln -s hadoop-1.0.2 current
hadoop@master1$ export HADOOP_HOME=/usr/local/hadoop/current
5．在主节点上创建如下几个目录。
hadoop@master1$ mkdir -p /usr/local/hadoop/var/dfs/name
hadoop@master1$ mkdir -p /usr/local/hadoop/var/dfs/data
hadoop@master1$ mkdir -p /usr/local/hadoop/var/dfs/namesecondary
6．如果不使用MapReduce，可以跳过下面几个步骤。如果使用MapReduce，则需要为其创建一个目录。
hadoop@master1$ mkdir -p /usr/local/hadoop/var/mapred
7．在Hadoop环境设置文件（hadoop-env.sh）中设置 JAVA_HOME。
hadoop@master1$ vi $HADOOP_HOME/conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.6
8．在core-site.xml中添加hadoop.tmp.dir属性。
hadoop@master1$ vi $HADOOP_HOME/conf/core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/var</value>
</property>
9．在core-site.xml中添加fs.default.name属性。
hadoop@master1$ vi $HADOOP_HOME/conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://master1:8020</value>
</property>
10．如果你需要MapReduce，则需要在mapred-site.xml中添加mapred.job. tracker属性。
hadoop@master1$ vi $HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>master1:8021</value>
</property>
11．添加一个从服务器列表文件slaves。
hadoop@master1$ vi $HADOOP_HOME/conf/slaves
slave1
slave2
slave3
12．将所有Hadoop文件从主节点同步到各客户端节点和从节点上。如果不是初次安装，则不需要同步${hadoop.tmp.dir}目录。
hadoop@master1$ rsync -avz /usr/local/hadoop/ client1:/usr/local/hadoop/
hadoop@master1$ for i in 1 2 3
do rsync -avz /usr/local/hadoop/ slave$i:/usr/local/hadoop/
sleep 1
done
13．在启动Hadoop之前，你需要格式化NameNode节点。该操作仅在初始安装时执行。
hadoop@master1$ $HADOOP_HOME/bin/hadoop namenode -format
14．在主节点上启动HDFS。
hadoop@master1$ $HADOOP_HOME/bin/start-dfs.sh
15．键入如下命令可访问你的HDFS。
hadoop@master1$ $HADOOP_HOME/bin/hadoop fs -ls /
你也可以通过浏览器来查看此HDFS的管理页面。请确保50070端口处于打开状态。访问http://master1:50070/dfshealth.jsp，便可看到图1-4所示的HDFS管理页面。
16．如果需要的话，在主节点上启动MapReduce。
hadoop@master1$ $HADOOP_HOME/bin/start-mapred.sh
现在，你就可以从浏览器中访问MapReduce的管理页面了。请确保50030端口处于打开状态。访问http://master1:50030/jobtracker.jsp，便可看到图1-5所示的MapReduce管理页面。
17．若要停止HDFS，请在主节点上执行如下命令。
hadoop@master1$ $HADOOP_HOME/bin/stop-dfs.sh
18．要停止MapReduce，请在主节点上执行如下命令。
hadoop@master1$ $HADOOP_HOME/bin/stop-mapred.sh
1.4.3 运行原理
若要从主节点上启动/关闭远程从节点上的守护进程，必须用hadoop用户以无密码SSH登录的方式进行操作。这便是我们在第1步中做的事情。
HBase必须运行在一个支持持久化的sync实现的特殊HDFS上。如果在不支持持久化的sync实现的HDFS上运行HBase，那么在从服务器宕机时，HBase就有可能会丢失数据。在0.20.205以后的各版本（包括我们所选择的Hadoop1.0.2）中，Hadoop都支持此功能。
HDFS和MapReduce要使用本地文件系统来存储它们自己的数据。我们在第3步中创建了Hadoop所需要的目录，在第8步中将该路径设置在了Hadoop配置文件中。
在第9至11步中，我们对Hadoop进行了设置，以使它可以找到HDFS、JobTracker和从服务器。在启动Hadoop之前，需要将所有Hadoop目录和设置都同步到各个从服务器上。在第一次启动Hadoop（HDFS）时，需要对NameNode进行格式化。请注意，只需要在初始安装时做一次格式化就可以了。
执行到这一步，你就可以使用Hadoop的启动/停止脚本来启动/停止Hadoop了。在本例中，我们要将HDFS和MapReduce分开进行启动/停止，因为你有可能并不需要MapReduce。你也可以使用$HADOOP_HOME/bin/start-all.sh和stop-all.sh来同时启动/停止HDFS和MapReduce。
