Hadoop使用教程(1):单节点部署

部署jdk环境

jdk版本：8u311

解压

tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/

更改文件名

mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8

添加jdk环境变量

vim /etc/profile

内容添加（文件末尾）

#jdk8
export JAVA_HOME=/opt/module/jdk8

export PATH=$PATH:$JAVA_HOME/bin

刷新环境文件

source /etc/profile

查看是否生效

java # 三个任意查看都行
javac
java -version

部署hadoop环境

hadoop版本：2.10.1

解压

tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/

更改文件名

mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10

添加hadoop环境变量

vim /etc/profile

内容添加（末尾）

# hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境文件

source /etc/profile

查看hadoop环境是否生效

hadoop version

配置hadoop核心文件

每个文件的详细作用参考：(148条消息) 一、Hadoop主要配置文件的作用hadoop五个配置文件一 乐的博客-CSDN博客

路径

cd /opt/module/hadoop2.10/etc/hadoop/

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop2.10/data/tmp</value>
  </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk8 # 大概在25行左右的位置

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux_servicesname>
    <value>mapreduce_shufflevalue>
  property>
  <property>
    <name>yarn.resourcemamager.hostnamename>
    <value>mastervalue>
  property>
configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
</configuration>

slaves

master

添加ssh免密登录

下载ssh服务

yum -y install openssh

配置host映射

vim /etc/hosts

内容，末尾添加

192.168.200.100 master

添加ssh密钥

ssh-keygen -t rsa # 三下回车

# 拷贝密钥
ssh-copy-id master
# 输入yes
# 输入密码：123456

格式化namenode节点

hadoop namenode -format

关闭防火墙

systemctl stop firewalld # 单次关闭防火墙
systemctl disable firewalld # 永久关闭防火qiang

启动hadoop

start-dfs.sh
start-yarn.sh

查看进程

jps

9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode

Web端：192.168.200.100:50070

端口号：50070

关闭hadoop

stop-dfs.sh
stop-yarn.sh