1、hadoop安装包与jdk还有虚拟机镜像的下载
链接:https://pan.baidu.com/s/1cq1GkZwawHMN9Fc_gGo68A
提取码:6iai
虚拟机:
链接:https://pan.baidu.com/s/1_tRVWo0SHvHCKMPs9j2Zfw
提取码:o30c
2、准备工作
(1)以上安装包
(2)一台能连接XShell或者WindTerm的虚拟机--可以看我的centos7的ip配置文档一般配置完成都能连接详细看:
(75条消息) Centos7.9的ip更改--详细版_centos7.9配置ip_Java小白中的菜鸟的博客-CSDN博客
3、JDK的配置
(1)查询是否安装Java软件:
rpm -qa | grep java
如果安装的版本低于1.7,卸载该JDK
sudo rpm -e 软件包
查看JDK安装路径:
which java
(2)将JDK导入到opt目录下面的software文件夹下面
(3)解压JDK到/opt/en目录下
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/en/
(4)配置JDK环境变量
先获取JDK路径,在jdk文件包下输入以下命令
pwd
打开/etc/profile文件在profile文件末尾添加JDK路径
sudo vi /etc/profile
#JAVA_HOME export JAVA_HOME=/opt/en/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin
保存后退出
:wq!
让修改后的文件生效
source /etc/profile
(5)测试JDK是否安装成功
java -version
4、Hadoop配置
(1)将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
(2)解压安装文件到/opt/en下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/en/
(3)配置hadoop文件路径
配置在配置文件中配置hadoop文件路径
vim /etc/profile
#HADOOP_HOME export HADOOP_HOME=/opt/en/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
(4)让修改后的文件生效
source /etc/profile
(5)测试是否安装成功
hadoop version
(6)配置Hadoop的dfs环境
配置hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property>
配置hadoop-env.sh
export JAVA_HOME=/opt/en/jdk1.8.0_144
配置:core-site.xml
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/en/hadoop-2.7.2/data/tmp</value> </property>
(7)配置Hadoop的yarn环境
配置yarn-site.xml
<!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop</value> </property>
配置yarn-en.sh
export JAVA_HOME=/opt/en/jdk1.8.0_144
配置:mapred-en.sh
export JAVA_HOME=/opt/en/jdk1.8.0_144
配置: mapred-site.xml
配置前应该(对mapred-site.xml.template重新命名为) mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
(8)启动集群
格式化NameNode
bin/hdfs namenode -format
启动NameNode
sbin/hadoop-daemon.sh start namenode
启动DataNode
sbin/hadoop-daemon.sh start datanode
启动yarn前必须保证NameNode和DataNode已经启动
启动ResourceManager
sbin/yarn-daemon.sh start resourcemanager
启动NodeManager
sbin/yarn-daemon.sh start nodemanager
查看是否启动成功
5、浏览器页面查看
(1)web端查看HDFS文件系统
(2)YARN的浏览器页面查看