(1)创建Hadoop用户组和Hadoop用户
Sudo addgroup hadoop //创建用户组Hadoop
Sudo adduser -ingroup hadoop hadoop //创建Hadoop用户
(2)用新增hadoop用户名登陆Linux系统
直接登录hadoop用户
(3)安装SSH
Sudo apt-get install openssh-server
在linux系统中,在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件。将压缩包jdk-8u301-linux-x64.tar.gz解压至/usr/lib/jvm中。如下
解压出来的是jdk1.8.0_301然后在配置jdk环境变量
使用gedit编辑器编辑环境变量
打开bashrc文件
Sudo gedit ~/.bashrc
在文件末尾添加几行内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME={JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib
export PATH={JAVA_HOME}/bin:PATH
保存退出
Source ~/.bashrc让环境变量生效
检验安装情况
Java -version
(5)安装和配置Hadoop
将压缩包hadoop-2.4.0.tar.gz压缩在linux中的 /usr/local中
然后将压缩好的文件修改名字为hadoop
注意hadoop真正可运行程序在./bin目录中的hadoop
进入hadoop文件夹,查看安装的Hadoop(在./bin目录中)版本信息:
./bin/hadoop version
然后配置hadoop环境变量
进入文件:
Sudo vim /etc/profile.d/my_env.sh添加环境变量如下:
第一行是hadoop的安装目录
重新加载环境变量
Source /etc/profile
(6)Hadoop测试
进入到/usr/local/hadoop的目录下,创建一个input目录,在该目录下创建一个world.txt文件。然后向该文件写入一些单词,保存退出。
重新加载环境变量
Source /etc/profile
然后回到hadoop目录。输入以下命令。
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example
-2.4.0.jar wordcount input ./output
注意:我的可执行程序hadoop在hadoop目录中的bin目录里,所以是
./bin/hadoop。hadoop-mapreduce-example-2.4.0.jar是要在上面指定目录里查看的
在hadoop目录里它会自动生成一个output目录。
该目录的art-r-0000文件保存了input目录中word.txt文件的每个单词的统计个数