Hello,world!
🐒本篇博客使用到的工具有:VMware16 ,Xftp7
若不熟悉操作命令,推荐使用带GUI页面的CentOS7虚拟机
我将使用带GUI页面的虚拟机演示
虚拟机(Virtual Machine)
指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。在计算机中创建虚拟机时,需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统,可以像使用实体机一样对虚拟机进行操作。
【确保服务器集群安装和配置已经完成!】可参考我的上篇博客:
VMware创建Linux虚拟机之(一)实现免密登录_Vim_飞鱼的博客-CSDN博客
VMware创建Linux虚拟机之(二)下载安装JDK与配置Java环境变量_Vim_飞鱼的博客-CSDN博客
前言
请根据读者的自身情况,进行相应随机应变。
我的三台CentOS7服务器:
主机:master(192.168.149.101)
从机:slave1(192.168.149.102)
从机:slave2(192.168.149.103)
每一个节点的安装与配置是相同的,在实际工作中,通常在master节点上完成安装和配置后,然后将安装目录通过 scp 命令复制到其他节点即可。
注意:所有操作都是root用户权限,需要我们登陆时选择root用户登录。
下载Hadoop安装包
Hadoop官网:
Apache Hadoop
我这里用的Hadoop版本下载地址:
Apache Hadoop
https://hadoop.apache.org/release/3.3.4.html
在下一篇博客中,我将下载安装 jdk-8u261-linux-x64.tar 推荐大家使用,目前 jdk17 与 hadoop 3并不兼容,别问我怎么是知道的🙂
解压Hadoop安装包(只在master做)
首先,需要确保 network 网络已经配置好,使用 Xftp 等类似工具进行上传,把 hadoop-3.3.4.tar.gz 上传到 /opt/hadoop 目录内。
上传完成后,在 master 主机上执行以下代码:
cd /opt/hadoop
进入/opt/hadoop目录后,执行解压缩命令:
tar -zxvf hadoop-3.3.4.tar.gz
回车后系统开始进行解压,屏幕会不断滚动解压过程,执行成功后,系统在 hadoop 目录自动创建 hadoop-3.3.4 子目录。
然后修改文件夹名称为“hadoop”,即hadoop安装目录,执行修改文件夹名称命令:
mv hadoop-3.3.4 hadoop
注意:也可用Xftp查看相应目录是否存在,确保正确完成。
我们进入安装目录,查看一下安装文件,如果显示如图文件列表,说明压缩成功
配置env文件(只在master做)
请先看如下命令(希望可以记住它们,后续操作会经常使用)
A. 进入编辑状态:insert
B. 删除:delete
C. 退出编辑状态:ctrl+[
D. 进入保存状态:ctrl+]
E. 保存并退出:" :wq " 注意先输入英文状态下冒号
F. 不保存退出:" :q! " 同上
大概执行顺序:A→B→C→D→E
配置bashrc文件
执行命令输入:
vi /etc/bashrc
在bashrc文件末尾加入:
#hadoop config export HADOOP_HOME=/opt/hadoop/hadoop export CLASSPATH=$CLASSPATH:$($HADOOP_HOME/bin/hadoop classpath) export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
输入source命令,进行配置刷新:
source /etc/bashrc
配置jdk文件
执行命令:
vi /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh
找到 “ export JAVA_HOME ” 这行,用来配置jdk路径
修改为:export JAVA_HOME=/usr/local/java/jdk1.8.0_162/
如下图所示:(位于54行,gui页面可查看)
配置核心组件文件(只在master做)
Hadoop 的核心组件文件是 core-site.xml,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,用vi编辑 core-site.xml 文件,需要将下面的配置代码放在文件的 和 之间。
执行编辑 core-site.xml 文件的命令:
vi /opt/hadoop/hadoop/etc/hadoop/core-site.xml
需要在和之间加入的代码:
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <!-- Hadoop 数据存放的路径,namenode,datanode 数据存放路径都依赖本路径,不要使用 file:/ 开头,使用绝对路径即可 namenode 默认存放路径 :file://${hadoop.tmp.dir}/dfs/name datanode 默认存放路径 :file://${hadoop.tmp.dir}/dfs/data --> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop/hadoopdata</value> </property>
如下图所示:
编辑完成后,保存退出即可!