菜鸟也学hadoop(1)_搭建单节点的hadoop

其实跟官方的教程一样 只是 我想写下来 避免自己搞忘记了，，，，好记性不如烂笔头

首先确认自己是否安装了 java， ssh 以及 rsync 没有装的直接就 apt-get install 了嘛，，，java的不一定要用sun的  OPEN的也好  主要方便。。。。不是重点 看着搞啦

然后 就是ssh免密码登录  这点 主要是因为 hadoop 需要通过ssh来启动salve列表中的各个主机守护进程，因为 分布式集群管理的  所以不管你是用的单机伪分布 或是分布  它都不分管理模式的，因此这一步必须搞 也简单 就两道命令

/opt/hadoop# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

另外要注意请务必要将服务器上

~/.ssh权限设置为700

~/.ssh/authorized_keys的权限设置为600

试一试 是否可以免密码登录       ssh localhost

这样就完成了第一步

echo $JAVA_HOME

看看jdk安装在哪里  然后copy一下路径 一会用上

vim ./conf/hadoop-env.sh

当中大概第九条 把那里的JAVA_HOME 指定一下

export JAVA_HOME=/usr/lib/jdk/jdk1.7.0_07                ##保存

配置 hadoop核心配置文件 vim ./conf/core-site.xml

<configuration>
       <property>
               <name>fs.default.name</name>
               <value>hdfs://localhost:9000</value> ##hdfs入口
       </property>
</configuration>
配置 hadoop 的HDFS配置文件 vim ./conf/hdfs-site.xml

<configuration>
       <property>
               <name>dfs.replication</name>
               <value>1</value>  ##文件副本数量 但节点 一个就够了
       </property>
</configuration>

配置 hadoop 的 MapReduce配置文件  vim ./conf/mapred-site.xml

<configuration>
       <property>
               <name>mapred.job.tracker</name>
               <value>localhost:9001</value> 
       </property>
</configuration>

这样 一个单节点的Hadoop就配置成功了  剩下的就是格式下文件系统 然后 启动就OK 了

首先是格式文件系统  

hadoop namenode -format

接下来启动

start-all.sh

当然 你可以 单单启动 HDFS(start-dfs.sh)  也可以单单启动 MapReduce (start-mapred.sh)

验证是否成功 打开浏览器

localhost:50030    ##MapReduce WEB管理界面

localhost:50070    ##HDFS WEB管理界面

测试上传文件到 hdfs文件系统当中

hadoop fs -put 文件名 hdfs://localhost:9000/指定一个文件夹 或者 就放到根目录

刷新下 hdfs管理界面 就能看到那个文件了

测试 MapReduce 例子 用的 hadoop里面自带的例子 计算shell脚本当中的单词量

 首先先上传 要计算的sh文件 hadoop fs -mkdir /input   ##创建一个input文件夹

                                          hadoop fs -put *.sh /input/  ##上传当前文件夹下所有的*.sh文件 到 hdfs 的 input 文件夹下

hadoop jar hadoop-examples-i.0.3.jar wordcount /input /output

开始计算 过程省略  仅仅使用于测试的  

-----完成后 可以在 localhost:50070 文件管理系统当中发现一个output文件夹 点进入 在part-r-00000 当中记录了结果  前面是单词 后面是出现的次数

在localhost:50030 可以看到running jobs(这里显示 运行当中的)

                                         completed jobs （这里显示作业运行的统计）点进去可以看到一些 更详细的信息，自己研究啦

 由于在 UBUNTU当中截图麻烦 我就不发图了 按照步骤一步一步来 亲测OK   我用的 UBUNTU 12.04
 注：后面我看了书 hadoop实战 机械工业出版社的那本  说是不能用openJava  但是我原来看别人录制视频 说是可以， 我呢是用的 oracle的  大家如果用open的装不上 就用oracle的吧 没有实践过

本文转自    拖鞋崽      51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1011844