下载和安装Java Development Kit (JDK) 8
- 大多数环境使用jdk8较为合适除非有特殊需求
#下载JDK 8
wget https://download.java.net/java/GA/jdk8/8u301-b09/jdk-8u301-linux-x64.tar.gz
#解压JDK安装包
tar -zxvf jdk-8u301-linux-x64.tar.gz -C /usr/local
#环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin
#保存并关闭文件
source /etc/profile
下载和安装Hadoop 3.3.5
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/
#配置Hadoop环境变量
vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
- 配置Hadoop
cd /usr/local/hadoop-3.3.5/etc/hadoop/
vi hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_301
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
格式化Hadoop文件系统：
- 使用以下命令格式 - HDFS：hdfs namenode -format启动Hadoop：
- 使用以下命令启动Hadoop服务：start-all.sh
- 使用以下命令验证Hadoop是否正常运行：
- 查看HDFS状态：hdfs dfsadmin -report
- 查看YARN状态：yarn node -list
hadoop集群(environment:五台centos7.9)
# 配置hosts文件：
sudo vim /etc/hosts
192.168.2.110 hadoop001
192.168.2.111 hadoop002
192.168.2.112 hadoop003
192.168.2.113 hadoop004
192.168.2.114 hadoop005
# 创建用户名
sudo useradd bigdata
sudo passwd bigdata
#解压JDK到/opt/module目录下：
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
cd /opt/module/
配置JDK环境变量：
sudo vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version
下载Hadoop并解压到/opt目录下：
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
tar -zxvf hadoop-2.7.5.tar.gz -C /opt/
```
配置Hadoop环境变量：
sudo vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
```
source /etc/profile
配置hadoop-env.sh文件：
sudo vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_45
后面的全部重复
- 在第一台机器上配置好Hadoop，并确保它正常运行。
- 将Hadoop配置文件复制到其他四台机器上。您可以使用SSH或其他文件传输工具来复制文件。
```shell
# 假设第一台机器的IP地址是10.0.0.1，其他四台机器的IP地址分别是10.0.0.2、10.0.0.3、10.0.0.4、10.0.0.5
# 假设Hadoop配置文件的路径是/opt/hadoop/etc/hadoop
# 将第一台机器的Hadoop配置文件复制到其他四台机器上
scp -r /opt/hadoop/etc/hadoop/* 10.0.0.2:/opt/hadoop/etc/hadoop/
scp -r /opt/hadoop/etc/hadoop/* 10.0.0.3:/opt/hadoop/etc/hadoop/
scp -r /opt/hadoop/etc/hadoop/* 10.0.0.4:/opt/hadoop/etc/hadoop/
scp -r /opt/hadoop/etc/hadoop/* 10.0.0.5:/opt/hadoop/etc/hadoop/
