前提准备
1)阿里云ECS服务器Centos7.5
2)Xshell或者其他和Linux交互的软件(本文用的Bitvise SSH软件)
我用的是Bitvise SSH
3)最好会vim操作(不会也没问题)
不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件
4)hadoop-x.x.x.tar.gz
我用的是 hadoop-2.7.2.tar.gz
5)一颗想着快照的心,一颗想着快照的心,一颗想着快照的心
搭建细节介绍
打算搭建之前请先快照一下
打算搭建之前请先快照一下
打算搭建之前请先快照一下
注意是在哪个路径下进行一些操作
hadoop我安装在 /opt/module 文件下
我使用的是root用户
如果你发现没有某某文件,就是你当前在的路径不是对
写的优点啰嗦,请注意阅读
搭建流程
将ECS服务器快照一下
创建快照
回滚快照
用SSH软件和ECS服务器建立连接
(无法用语言表达)
安装宝塔界面(宝塔面板和Linux就和应用宝和手机的关系)
在官网最下面有各种Linux系统安装宝塔的代码
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
中间有问你是否yes or no,安装要求输入yes或者y
到下面就显示成功了,记住下面的url,账号,密码
把上面的url打开并且输入账号密码就出现下面的图
在箭头处可以修改账号密码
安装jdk并且配置环境变量
选择安装tomcat就安装好JDK了
jdk默认安装的路径是下图
修改/etc/profile文件,在最后,最后,最后加上下面的的java_home配置
通过vim操作或者把文件下载下来修改在上传覆盖
#JAVA_HOME export JAVA_HOME=/usr/java/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin
让修改后的文件生效
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile
查看JDK是否安装成功
java -version
安装hadoop并且配置环境变量
进入 /opt/ 下创建两个文件夹
[root@iZm5ea99qngm2v98asii1aZ opt]# cd /opt/ [root@iZm5ea99qngm2v98asii1aZ opt]# mkdir software [root@iZm5ea99qngm2v98asii1aZ opt]# mkdir module [root@iZm5ea99qngm2v98asii1aZ opt]#
用软件将hadoop-2.7.2.tar.gz文件上传到 /opt/software/ 下
[root@iZm5ea99qngm2v98asii1aZ opt]# pwd /opt [root@iZm5ea99qngm2v98asii1aZ opt]# cd software/ [root@iZm5ea99qngm2v98asii1aZ software]# ls hadoop-2.7.2.tar.gz [root@iZm5ea99qngm2v98asii1aZ software]#
将压缩包解压到 /opt/module/ 下
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
获取hadoop安装路径 /opt/module/hadoop=2.7.2
[root@iZm5ea99qngm2v98asii1aZ module]# cd /opt/module/hadoop-2.7.2/ [root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2 [root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]#
配置hadoop环境变量(修改 /etc/profile)(在最后加,和上面的配置JAVA_HOME一样)
可以vim操作,可以将文件下载到本地修改完后在上传覆盖原来的文件
##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
让修改后的文件生效
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# source /etc/profile
查看hadoop是否安装成功
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# hadoop
伪分布式运行模式
修改hadoop的配置文件
修改/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_121
修改/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
注意:hdfs://abcdefg:9000 abcdefg处填写你的如下图部分
<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://iZm5ea99qngm2v98asii1aZ:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-2.7.2/data/tmp</value> </property>
修改/opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
<!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property>
启动集群
进入/opt/module/hadoop-2.7.2目录
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# cd /opt/module/hadoop-2.7.2
格式化NameNode(第一次启动时格式化,以后就不要格式化)
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# bin/hdfs namenode -format
启动NameNode
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode
启动DateNode
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode
查看是否启动成功
[root@iZm5ea99qngm2v98asii1aZ hadoop-2.7.2]# jps
web端查看HDFS文件系统
1开放端口9000,50070
见下面常见问题
2 访问url
http://你的IP地址:50070/dfshealth.html#tab-overview