Hadoop学习（一） MAC OS下安装Hadoop开发环境

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

在MAC OS下安装和配置Hadoop开发环境相当简单。

先去下载最新稳定版本的Hadoop的文件包，下载地址为：
http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/hadoop-1.0.3-bin.tar.gz

下载后解压复制到/Users 路径下。

在/Users/hadoop-1.0.3/conf 路径下修改以下四个文件：

1. core-site.xml 在段中增加
   

     <name>fs.default.name</name>  
     <value>localhost:9000</value>  

2. hdfs-site.xml 在段中增加
   

     <name>dfs.replication</name>  
     <value>1</value>  

表示使用hdfs分布是文件系统，复制份数为1，在单机上运行。

1. mapred-site.xml 在段中增加
   

   <name>mapred.job.tracker</name>  
   <value>localhost:9001</value>  

表示在本机执行jobtracker进程。

1. hadoop-env.sh 增加以下环境变量

   export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home

   export HADOOP_INSTALL=/Users/hadoop-1.0.3

   export PATH=$PATH:$HADOOP_INSTALL/bin

在MAC OS的系统偏好设置-共享中，允许远程登陆，打开ssh访问。

打开终端，进入/Users/hadoop-1.0.3 路径，执行：

bin/hadoop namenode -format

初始化hdfs文件系统。

最后启动Hadoop。

bin/start-all.sh 

执行jps命令可以查看运行中的Hadoop进程。

通过页面http://localhost:50070 可以查看Hadoop运行状态。