VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下

简介: VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 下

复制master上的Hadoop到slave节点(只在master做)

     通过复制master节点上的hadoop,能够大大提高系统部署效率,假设我们有200台需要配置…笔者岂不白头,话不多说直接 scp

由于我这里有slave1和slave2,所以复制两次。

复制命令:执行命令即可

scp -r /opt/hadoop root@slave1:/opt
scp -r /opt/hadoop root@slave2:/opt

Hadoop集群的启动-配置操作系统环境变量(三个节点都做master+slave1/2)

回到用户目录命令:

cd /opt/hadoop

然后用vi编辑.bash_profile文件,命令:

 

vi /etc/profile

最后把以下代码追加到文件的尾部:

#HADOOP
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

如下图所示:

保存退出后,执行命令:

source /etc/profile

source /etc/profile  命令是使上述配置变量生效(刷新)

提示:在slave1和slave2使用上述相同的配置方法,进行三个节点全部配置。

创建Hadoop数据目录(只在master做)

创建数据目录,命令是:

mkdir /opt/hadoop/hadoopdata

通过Xftp可查看该hadoopdata

如下图所示:

格式化文件系统(只在master做)

执行格式化文件系统命令:

hadoop namenode -format

或者执行:(推荐使用)

hdfs namenode -format

启动和关闭Hadoop集群(只在master做)

首先进入安装主目录,命令是:

cd /opt/hadoop/hadoop/sbin

提示:目前文件位置可在Xshell顶部栏观察

然后启动,命令是:

start-all.sh

执行命令后,系统提示 ” Are you sure want to continue connecting(yes/no)”,输入yes,之后系统即可启动。

如下图所示:(未进入sbin目录,也并无大碍)


注意:可能会有些慢,千万不要以为卡掉了,然后强制关机,这是错误的。

如果要关闭Hadoop集群,可以使用命令:

stop-all.sh

如下图所示:

下次启动Hadoop时,无须NameNode的初始化,只需要使用 start-dfs.sh 命令即可,然后接着使用 start-yarn.sh 启动yarn。

实际上,Hadoop建议放弃(deprecated)使用start-all.sh和stop-all.sh一类的命令,而改用start-dfs.sh和start-yarn.sh命令。

start-dfs.sh
start-yarn.sh

验证Hadoop集群是否启动成功

     读者您可以在终端执行jps命令查看Hadoop是否启动成功。

master节点(名称节点),执行:

jps

如果显示:SecondaryNameNode、 ResourceManager、 Jps 和NameNode这四个进程,则表明主节点master启动成功

如下图所示:

然后分别在slave0和slave1节点下执行命令:

jps

如果成功显示:NodeManager、Jps 和 DataNode,这三个进程,则表明从节点即数据节点(slave1和slave2)启动成功

如下图所示:

显示上述页面即表示我们的hadoop集群,全部且完全搭建成功!💪

注意:

hdfs namenode -format

每次格式化都会重新你创建一个namenodeId,而在默认情况下tmp/dfs/data下包含了上次format下的id,格式化不会清空datanode下的数据,导致启动失败。

因此,避免重复多次修改配置文件,避免Hadoop多次格式化。

下次登陆,直接输入 start-dfs.sh  与start-yarn.sh 即可。

写到此处,此篇博客就完全结束了,如果各位大佬发现其中错误,欢迎指出!🙇‍

至此,此篇内容,完美结束!感谢浏览,发现问题,希望指正!💪

相关文章
|
8月前
|
Oracle 关系型数据库 虚拟化
在VMware的Win10虚拟机中安装使用ENSP
本文介绍了在Windows 10虚拟机上安装ENSP及相关软件的全过程,包括VirtualBox、WinPcap、Wireshark、VLC和ENSP的安装步骤,并提供图文演示,帮助用户顺利完成配置与测试。
2304 134
|
11月前
|
虚拟化 数据中心
VMware vSphere Replication 9.0.3 - 虚拟机复制和数据保护
VMware vSphere Replication 9.0.3 - 虚拟机复制和数据保护
392 0
|
7月前
|
Linux 虚拟化 iOS开发
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
1760 0
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
|
7月前
|
Linux 虚拟化 iOS开发
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
1705 0
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
|
7月前
|
存储 Linux 文件存储
VMware vSphere Replication 9.0.4 - 虚拟机复制和数据保护
VMware vSphere Replication 9.0.4 - 虚拟机复制和数据保护
358 2
|
10月前
|
编解码 网络协议 网络安全
OpenWrt x86 虚拟机VMware ESXi安装
OpenWrt x86 虚拟机VMware ESXi安装
|
9月前
|
Linux 虚拟化 iOS开发
Windows Server 2025 OVF (2025 年 8 月更新) - VMware 虚拟机模板
Windows Server 2025 OVF (2025 年 8 月更新) - VMware 虚拟机模板
1142 3
Windows Server 2025 OVF (2025 年 8 月更新) - VMware 虚拟机模板
|
8月前
|
监控 Linux 网络安全
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
2787 0
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
|
Linux 虚拟化 iOS开发
Rocky Linux 10 x86_64 OVF (sysin) - VMware 虚拟机模板
Rocky Linux 10 x86_64 OVF (sysin) - VMware 虚拟机模板
816 35
Rocky Linux 10 x86_64 OVF (sysin) - VMware 虚拟机模板
|
Linux 虚拟化 iOS开发
Rocky Linux 10 aarch64 OVF (sysin) - Apple silicon VMware 虚拟机模板
Rocky Linux 10 aarch64 OVF (sysin) - Apple silicon VMware 虚拟机模板
540 34
Rocky Linux 10 aarch64 OVF (sysin) - Apple silicon VMware 虚拟机模板