继续伪分布安装
7. 安装JDK
使用winscp将hadoop和jdk复制到linux目录下
a) 打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录
左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.
b) 解压hadoop-1.1.2.tar.gz
#tar –xzvf hadoop-1.1.2.tar.gz
c) 在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行
#chmod 755 jdk-6u24-linux-i586.bin
解压jdk
#./ jdk-6u24-linux-i586.bin
d) 配置环境变量才能使得jdk生效,
#vim /etc/profile
修改前先备份一份
#cp /etc/profile /etc/profile.bak
在开头的空白行添加
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
就类似于windows下的jdk配置环境变 量
e) 重命名hadoop和jdk的文件夹,使得容易使用
#mv hadoop-1.1.2.tar.gz hadoop
#mv jdk-6u24-linux-i586.bin jdk
f) 使得环境变量生效
#source /etc/profile
g) 验证java版本
#java -version
8. 安装hadoop
a) 因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录
bin下存放的是hadoop的可执行文件
conf下放的是配置文件
lib目录下放的是hadoop依赖的jar包
src目录是存放hadoop源代码的位置
docs存放的是hadoop的文档
b) 为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中
#vim /etc/profile
exportHADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
c) 使环境变量生效
#source /etc/profile
d) 修改hadoop的配置文件
进入conf目录
hadoop#cd conf
主要修改的配置文件有四个
hadoop-env.sh \core-site.xml\mapred-site.xml\hdfs-site.xml
hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/ 修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名
修改hdfs-site.xml配置文件内容如下
修改mapred-site.xml配置文件内容如下:
hadoop1修改为自己的主机名
e) 启动hadoop前的文件系统格式化
# hadoop namenode -format
f) 启动hadoop
#start-all.sh 启动与hadoop有关的所有进程
g) 查看hadoop是否正常启动,使用jps命令可以查看java进程
如何看到这五个java进程代表hadoop启动成功
JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode
启动时最有可能造成NameNode启动不成功的可能原因
(1). 没有格式化
(2). 环境变量设置错误
(3).ip和hostname绑定失败
h) 验证hadoop是否正在运行
浏览器地址栏中:http://hadoop1:50070 (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行
http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行