2.Hadoop运行环境搭建(开发重点)
2.4在hadoop102安装Hadoop
2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面
点这个
将这两个包拖到/opt/software文件下
下面是这个包
链接:https://pan.baidu.com/s/1LO-jFODTQOlOF2gPvey4bg?pwd=fe5h
提取码:fe5h
2.4.2在Linux系统下的opt目录中查看软件包是否导入成功
然后再software下可以看到有这两个包了
2.4.3解压Hadoop到/opt/module目录下
- [summer@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
2.4.4配置Hadoop环境变量
先进入安装的Hadoop中
将目录复制下来后面会用,以防手打出错
/opt/module/hadoop-3.1.3
本来是在/etc/profile里配置的,后来发现这条语句
是profile.d的所有.sh后缀的文件全局生效,因此在profile.d下新建一个文件来配置Hadoop
先到这个文件下
- [summer@hadoop102 hadoop-3.1.3]$ cd /etc/profile.d
系统启动的时候就会加载这里面的文件
新建一个文件,名字自己取
- [summer@hadoop102 profile.d]$ sudo vim my_env_hadoop-3.1.3.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
2.4.5测试Hadoop是否安装成功
配置好后需要source一下,重新加载一下内容
- [summer@hadoop102 profile.d]$ source /etc/profile
2.4.6重启(如果Hadoop命令不能用再重启虚拟机)
- [summer@hadoop102 profile.d]$ sudo reboot
2.5Hadoop目录结构
2.5.1查看Hadoop目录结构
2.5.2hadoop重要目录
(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
bin、etc、sbin是经常使用的