复制master上的Hadoop到slave节点(只在master做)
通过复制master节点上的hadoop,能够大大提高系统部署效率,假设我们有200台需要配置…笔者岂不白头,话不多说直接 scp
由于我这里有slave1和slave2,所以复制两次。
复制命令:执行命令即可
scp -r /opt/hadoop root@slave1:/opt scp -r /opt/hadoop root@slave2:/opt
Hadoop集群的启动-配置操作系统环境变量(三个节点都做master+slave1/2)
回到用户目录命令:
cd /opt/hadoop
然后用vi编辑.bash_profile文件,命令:
vi /etc/profile
最后把以下代码追加到文件的尾部:
#HADOOP export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
如下图所示:
保存退出后,执行命令:
source /etc/profile
source /etc/profile 命令是使上述配置变量生效(刷新)
提示:在slave1和slave2使用上述相同的配置方法,进行三个节点全部配置。
创建Hadoop数据目录(只在master做)
创建数据目录,命令是:
mkdir /opt/hadoop/hadoopdata
通过Xftp可查看该hadoopdata
如下图所示:
格式化文件系统(只在master做)
执行格式化文件系统命令:
hadoop namenode -format
或者执行:(推荐使用)
hdfs namenode -format
启动和关闭Hadoop集群(只在master做)
首先进入安装主目录,命令是:
cd /opt/hadoop/hadoop/sbin
提示:目前文件位置可在Xshell顶部栏观察
然后启动,命令是:
start-all.sh
执行命令后,系统提示 ” Are you sure want to continue connecting(yes/no)”,输入yes,之后系统即可启动。
如下图所示:(未进入sbin目录,也并无大碍)
注意:可能会有些慢,千万不要以为卡掉了,然后强制关机,这是错误的。
如果要关闭Hadoop集群,可以使用命令:
stop-all.sh
如下图所示:
下次启动Hadoop时,无须NameNode的初始化,只需要使用 start-dfs.sh 命令即可,然后接着使用 start-yarn.sh 启动yarn。
实际上,Hadoop建议放弃(deprecated)使用start-all.sh和stop-all.sh一类的命令,而改用start-dfs.sh和start-yarn.sh命令。
start-dfs.sh
start-yarn.sh
验证Hadoop集群是否启动成功
读者您可以在终端执行jps命令查看Hadoop是否启动成功。
在master节点(名称节点),执行:
jps
如果显示:SecondaryNameNode、 ResourceManager、 Jps 和NameNode这四个进程,则表明主节点master启动成功
如下图所示:
然后分别在slave0和slave1节点下执行命令:
jps
如果成功显示:NodeManager、Jps 和 DataNode,这三个进程,则表明从节点即数据节点(slave1和slave2)启动成功
如下图所示:
显示上述页面即表示我们的hadoop集群,全部且完全搭建成功!💪
注意:
hdfs namenode -format
每次格式化都会重新你创建一个namenodeId,而在默认情况下tmp/dfs/data下包含了上次format下的id,格式化不会清空datanode下的数据,导致启动失败。
因此,避免重复多次修改配置文件,避免Hadoop多次格式化。
下次登陆,直接输入 start-dfs.sh 与start-yarn.sh 即可。
写到此处,此篇博客就完全结束了,如果各位大佬发现其中错误,欢迎指出!🙇
至此,此篇内容,完美结束!感谢浏览,发现问题,希望指正!💪