配置 Hadoop Cluster

集群复刻

使用虚拟机的朋友请直接克隆

切记要返回第四步骤更改各节点ip，不然会发生ip冲突

1）备份

前往根目录

cd /

备份

tar cvpzf backup.tgz / --exclude=/proc --exclude=/lost+found --exclude=/mnt --exclude=/sys --exclude=backup.tgz

备份完成后，在文件系统的根目录将生成一个名为“backup.tgz”的文件，它的尺寸有可能非常大。你可以把它烧录到 DVD 上或者放到你认为安全的地方去

在备份命令结束时你可能会看到这样一个提示：’tar: Error exit delayed from previous

errors’，多数情况下你可以忽略

2）准备

别忘了到其他设备下重新创建那些在备份时被排除在外的目录（如果不存在）：

mkdir proc
mkdir lost+found
mkdir mnt
mkdir sys

3）复刻

可选前提：

将备份文件拷贝至外存储
到其他设备下挂在外存储

到其他物理机上恢复文件

tar xvpfz backup.tgz -C /

恢复 SELinux 文件属性

restorecon -Rv /

集群互联

HOST 配置

1）修改 hostname

到各设备下执行

# 设备 1 （立即生效）
hostnamectl set-hostname master

# 设备 2 （立即生效）
hostnamectl set-hostname slave1

# 设备 3 （立即生效）
hostnamectl set-hostname slave2

# 设备 4 （立即生效）
hostnamectl set-hostname slave3

2）配置 host 文件

查看各设备 ip（到各设备下执行）

ifconfig

到 master 下打开 host 文件

vim /etc/hosts

末尾追加

master设备的ip  master
slave1设备的ip  master
slave2设备的ip  master
slave3设备的ip  master

3）通过 scp 传输 host 文件

scp 语法：

scp 文件名远程主机用户名@远程主机名或ip:存放路径

到 master 下执行

scp /etc/hosts root@SlaveIP:/etc/

注意：请按照 slave 个数，对其 ip 枚举传输

ping 一下

ping -c 4 slave1

能 ping 通就没问题

配置无密码 SSH

以下操作均在master下执行

1）到各设备下生成密钥

ssh-keygen -t rsa

一路回车

到 master 生成公钥

cd ~/.ssh/ && cat id_rsa.pub > authorized_keys

之后将各设备的密钥全复制到authorized_keys文件里

2）通过 scp 传输公钥

到 master 下执行

scp authorized_keys root@SlaveNumbe:~/.ssh/

注意：请按照之前设置的 hostname ，对其 ip 枚举传输

例如： scp authorized_keys root@slave1:~/.ssh/

注意，如果各节点下没有 ~/.ssh/ 目录则会配置失败

检查

ssh slave1

中断该 ssh 连接（可选）

exit

客户端配置（建议）

该配置主要方便客户端远程操作

无论是用虚拟机进行学习的朋友，还是工作的朋友都强烈推荐

以下操作均在客户端（MAC OS）上执行

修改 hots 文件

sudo vim /etc/hosts

将 master 设备下/etc/hosts 之前追加的内容，copy 追加到客户端 hosts 末尾

ping 一下，能 ping 通就没问题

windows 修改 host 教程

免密钥 ssh 登陆

客户端生产密钥：

sudo ssh-keygen -t rsa

打开密钥

vim ~/.ssh/id_rsa

将密钥的内容追加到 master 设备的 ~/.ssh/authorized_keys 文件内

到 master 内向各节点申请同步

scp authorized_keys root@SlaveNumbe:~/.ssh/

windows ssh 目录：C:\Users\your_userName.ssh

检查

ssh master

部署 ZooKeeper

此文采用版本 ZooKeepr3.6.3

官方下载地址：Zookeeper

记得下载带bin字样的

准备

从客户端上下载压缩包

到 master 节点上创建 zookeeper 文件夹

mkdir /usr/local/zookeeper

从客户端上传到 master

scp 你下载的Zookeeper路径 root@master:/usr/local/zookeeper

以下操作切换至master节点上

解压

cd /usr/local/zookeeper
 tar xf apache-zookeeper-3.6.3-bin.tar.gz

添加环境变量

打开配置文件

vim /etc/profile

在末尾添加

# ZooKeeper3.6.3
  # 添加zookeeper地址变量
  ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-bin.3.6.3
  # 添加PATH地址变量
  PATH=$ZOOKEEPER_HOME/bin:$PATH
  # 使变量生效
  export ZOOKEEPER_HOME PATH

刷新配置文件

source /etc/profile

修改配置

创建数据目录

mkdir /zookeeper
mkdir /zookeeper/data
mkdir /zookeeper/logs
# 同步
# 自行枚举

添加配置文件

cp $ZOOKEEPER_HOME/conf/zoo_sample.cfg $ZOOKEEPER_HOME/conf/zoo.cfg

vim $ZOOKEEPER_HOME/conf/zoo.cfg

修改和添加

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zookeeper/data
dataLogDir=/zookeeper/logs
clientPort=2181
server.1=master:2888:3888
server.2=slea1:2888:3888
server.3=slea2:2888:3888
server.4=slea3:2888:3888:observer

集群部署

到 master 下执行

请根据节点个数枚举执行

同步文件

scp /etc/profile root@slave1:/etc/

scp -r /zookeeper root@slave1:/

scp -r /usr/local/zookeeper root@slave1:/usr/local/

配置节点标识

参考资资料：leader 选举

ssh master "echo "9" > /zookeeper/data/myid"
ssh slave1 "echo "1" > /zookeeper/data/myid"
ssh slave2 "echo "2" > /zookeeper/data/myid"
ssh slave3 "echo "3" > /zookeeper/data/myid"

防火墙配置

#开放端口
firewall-cmd --add-port=2181/tcp --permanent
firewall-cmd --add-port=2888/tcp --permanent
firewall-cmd --add-port=3888/tcp --permanent
#重新加载防火墙配置
firewall-cmd --reload

节点批量执行

# master节点
ssh master "firewall-cmd --add-port=2181/tcp --permanent && firewall-cmd --add-port=2888/tcp --permanent && firewall-cmd --add-port=3888/tcp --permanent && firewall-cmd --reload "
# slave1节点 其他请自行枚举执行
ssh slave1 "firewall-cmd --add-port=2181/tcp --permanent && firewall-cmd --add-port=2888/tcp --permanent && firewall-cmd --add-port=3888/tcp --permanent && firewall-cmd --reload "

启动 ZooKeeper

sh  $ZOOKEEPER_HOME/bin/zkServer.sh start

编写批量启动 shell

vim /bin/zk && chmod 777 /bin/zk

#! /bin/sh
case $1 in
"start"){
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
        echo -e "\e[32m...master-start...\033[0m"
        ssh master "sh $ZOOKEEPER_HOME/bin/zkServer.sh start"
        echo -e "\e[32m...slave1-start...\033[0m"
        ssh slave1 "sh $ZOOKEEPER_HOME/bin/zkServer.sh start"
        echo -e "\e[32m...slave2-start...\033[0m"
        ssh slave2 "sh $ZOOKEEPER_HOME/bin/zkServer.sh start"
        echo -e "\e[32m...slave3-start...\033[0m"
        ssh slave3 "sh $ZOOKEEPER_HOME/bin/zkServer.sh start"
        echo -e "\e[32m...all-start-end...\033[0m"
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
};;
"stop"){
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
        echo -e "\e[32m...master-stop...\033[0m"
        ssh master "sh $ZOOKEEPER_HOME/bin/zkServer.sh stop"
        echo -e "\e[32m...slave1-start...\033[0m"
        ssh slave1 "sh $ZOOKEEPER_HOME/bin/zkServer.sh stop"
        echo -e "\e[32m...slave2-start...\033[0m"
        ssh slave2 "sh $ZOOKEEPER_HOME/bin/zkServer.sh stop"
        echo -e "\e[32m...slave3-start...\033[0m"
        ssh slave3 "sh $ZOOKEEPER_HOME/bin/zkServer.sh stop"
        echo -e "\e[32m...all-stop-end...\033[0m"
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
};;
"status"){
        echo -e "\e[32m---------------------------------------------------------------------------"
        echo -e "\e[32m...master-status...\033[0m"
        ssh master "sh $ZOOKEEPER_HOME/bin/zkServer.sh status"
        echo -e "\e[32m...slave1-start...\033[0m"
        ssh slave1 "sh $ZOOKEEPER_HOME/bin/zkServer.sh status"
        echo -e "\e[32m...slave2-start...\033[0m"
        ssh slave2 "sh $ZOOKEEPER_HOME/bin/zkServer.sh status"
        echo -e "\e[32m...slave3-start...\033[0m"
        ssh slave3 "sh $ZOOKEEPER_HOME/bin/zkServer.sh status"
        echo -e "\e[32m...all-status-end...\033[0m"
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
};;
esac

命令

# 启动
zk start
# 查看状态
zk status
# 关闭
zk stop

启动之后 MODE 和我的显示一样就算成功了

部署 Hadoop

此文采用版本 Hadoop3.2.2

官方下载地址：Hadoop

准备

从客户端上下载压缩包

到 master 节点上创建 Hadoop 文件夹

mkdir /usr/local/hadoop

从客户端上传到 master

scp 你下载的hadoop路径 root@master:/usr/local/hadoop

以下操作切换至master节点上

解压

cd /usr/local/hadoop
 tar xf hadoop包名

添加环境变量

打开配置文件

vim /etc/profile

在末尾添加

# Hadoop 3.2.2
        # 添加hadoop地址变量
        HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.0
        # 添加PATH地址变量
        PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
        # 使变量生效
        export HADOOP_HOME PATH
# IF HADOOP >= 3x / for root
        # HDFS
        HDFS_DATANODE_USER=root
        HADOOP_SECURE_DN_USER=hdfs
        HDFS_NAMENODE_USER=root
        HDFS_SECONDARYNAMENODE_USER=root
        HDFS_ZKFC_USER=root
        # YARN
        YARN_RESOURCEMANAGER_USER=root
        HADOOP_SECURE_DN_USER=yarn
        YARN_NODEMANAGER_USER=root
        # run
        export HDFS_DATANODE_USER HADOOP_SECURE_DN_USER HDFS_NAMENODE_USER HDFS_SECONDARYNAMENODE_USER HDFS_ZKFC_USER YARN_RESOURCEMANAGER_USER HADOOP_SECURE_DN_USER YARN_NODEMANAGER_USER

请自行使用scp将文件同步至各节点

刷新配置文件

source /etc/profile

配置

创建数据目录

mkdir /hadoop
mkdir /hadoop/journaldata
mkdir /hadoop/hadoopdata
# 同步
# 自行枚举

添加 Jdk 环境

打开文件

vim /usr/local/hadoop/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

添加或修改

export JAVA_HOME=/usr/local/java

接下来我们要修改的文件：

core-site.xml
hadoop-env.sh
mapred-env.sh
yarn-env.sh
workers

前往配置文件目录

cd /usr/local/hadoop/hadoop-3.3.0/etc/hadoop/

core-site.xml

<configuration>
        <!--指定hdfs nameservice-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://jed</value>
        </property>
        <!--指定hadoop工作目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/hadoop/hadoopdata</value>
        </property>
        <!--指定zookeeper集群访问地址-->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
  <!--不超过datanode节点数的副本数-->
  <property>
  <name>dfs.replication</name>
  <value>2</value>
  </property>
  <!--与core-site.xml中一致的hdfs nameservice-->
  <property>
          <name>dfs.nameservices</name>
          <value>jed</value>
      </property>
      <!--jed的NameNode，nn1，nn2 -->
      <property>
          <name>dfs.ha.namenodes.jed</name>
          <value>nn1,nn2</value>
      </property>
      <!-- nn1 的 RPC 通信地址 -->
      <property>
          <name>dfs.namenode.rpc-address.jed.nn1</name>
          <value>master:9000</value>
      </property>
  <!-- nn1 的 http 通信地址 -->
      <property>
          <name>dfs.namenode.http-address.jed.nn1</name>
          <value>master:50070</value>
      </property>
  <!-- nn2 的 RPC 通信地址 -->
      <property>
          <name>dfs.namenode.rpc-address.jed.nn2</name>
          <value>slave1:9000</value>
      </property>
      <!-- nn2 的 http 通信地址 -->
      <property>
          <name>dfs.namenode.http-address.jed.nn2</name>
          <value>slave1:50070</value>
      </property>
      <!-- 指定NameNode的edits元数据在JournalNode 上的存放位置 -->
      <property>
          <name>dfs.namenode.shared.edits.dir</name>
          <value>qjournal://master:8485;slave1:8485;slave2:8485/jed</value>
      </property>
      <!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
      <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/hadoop/journaldata</value>
      </property>
      <!-- 开启 NameNode 失败自动切换 -->
      <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
      </property>
      <!-- 配置失败自动切换实现方式 -->
      <!-- 此处配置较长，在安装的时候切记检查不要换行-->
      <property>
          <name>dfs.client.failover.proxy.provider.jed</name>
          <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>
      <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
      <property>
          <name>dfs.ha.fencing.methods</name>
          <value>
              sshfence
              shell(/bin/true)
          </value>
      </property>
      <!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
      <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/var/root/.ssh/id_rsa</value>
      </property>
      <!-- 配置 sshfence 隔离机制超时时间(20s) -->
      <property>
          <name>dfs.ha.fencing.ssh.connect-timeout</name>
          <value>20000</value>
      </property>
</configuration>

mapred-site.xml

<configuration>
  <!-- 指定 mr 框架为 yarn 方式 -->
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
      <!-- 设置 mapreduce 的历史服务器地址和端口号 -->
      <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
      </property>
      <!-- mapreduce 历史服务器的 web 访问地址 -->
      <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>master:19888</value>
      </property>
      <!--给mapreduce & app配置路径-->
      <property>
      <name>yarn.app.mapreduce.am.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
      <name>mapreduce.map.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
      <name>mapreduce.reduce.env</name>
      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
  <!-- 开启 RM 高可用 -->
      <property>
          <name>yarn.resourcemanager.ha.enabled</name>
          <value>true</value>
      </property>
      <!-- 指定 RM 的 cluster id，可以自定义-->
      <property>
          <name>yarn.resourcemanager.cluster-id</name>
          <value>Cyarn</value>
      </property>
      <!-- 指定 RM 的名字，可以自定义 -->
      <property>
          <name>yarn.resourcemanager.ha.rm-ids</name>
          <value>rm1,rm2</value>
      </property>
      <!-- 分别指定 RM 的地址 -->
      <property>
          <name>yarn.resourcemanager.hostname.rm1</name>
          <value>slave2</value>
      </property>
        <property>
          <name>yarn.resourcemanager.webapp.address.rm1</name>
          <value>slave2</value>
      </property>
      <property>
          <name>yarn.resourcemanager.hostname.rm2</name>
          <value>slave3</value>
      </property>
     <property>
         <name>yarn.resourcemanager.webapp.address.rm2</name>
         <value>slave3</value>
     </property>
      <!-- 指定 zk 集群地址 -->
      <property>
          <name>yarn.resourcemanager.zk-address</name>
          <value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
      </property>
      <!-- 要运行 MapReduce 程序必须配置的附属服务 -->
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
      <!-- 开启 YARN 集群的日志聚合功能 -->
      <property>
          <name>yarn.log-aggregation-enable</name>
          <value>true</value>
      </property>
      <!-- YARN 集群的聚合日志最长保留时长 -->
      <property>
          <name>yarn.log-aggregation.retain-seconds</name>
          <!--1天-->
          <value>86400</value>
      </property>
      <!-- 启用自动恢复 -->
      <property>
          <name>yarn.resourcemanager.recovery.enabled</name>
      <value>true</value>
      </property>
      <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
      <property>
          <name>yarn.resourcemanager.store.class</name>
          <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
      </property>
</configuration>

workers

注意！在Hadoop3x以前的版本是 slaves 文件

master
slave1
slave2
slave3

使用 scp 分发给其他节点

scp -r /usr/local/hadoop slave1:/usr/local/

请自行枚举执行

检查

使用之前的 zk 脚本启动 zeekeeper 集群

zk start

分别在每个 journalnode 节点上启动 journalnode 进程

# master slave1 slave2
hadoop-daemon.sh start journalnode

在第一个 namenode 节点上格式化文件系统

hadoop namenode -format

同步两个 namenode 的元数据

查看你配置的 hadoop.tmp.dir 这个配置信息，得到 hadoop 工作的目录，我的是/hadoop/hadoopdata/

把 master 上的 hadoopdata 目录发送给 slave1 的相同路径下，这一步是为了同步两个 namenode 的元数据

scp -r /hadoop/hadoopdata slave1:/hadoop/

也可以在 slave1 执行以下命令：

hadoop namenode -bootstrapStandby

格式化 ZKFC(任选一个 namenode 节点格式化)

hdfs zkfc -formatZK

启动 hadoop 集群

start-all.sh

相关命令请前往 $HADOOP_HOME/sbin/ 查看

启动 mapreduce 任务历史服务器

mr-jobhistory-daemon.sh start historyserver

编写 jps 集群脚本

vim /bin/jpall && chmod 777 /bin/jpall

#! /bin/sh
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"
        echo -e "\e[32m...master-jps...\033[0m"
        ssh master "jps"
        echo -e "\e[32m...slave1-jps...\033[0m"
        ssh slave1 "jps"
        echo -e "\e[32m...slave2-jps...\033[0m"
        ssh slave2 "jps"
        echo -e "\e[32m...slave3-jps...\033[0m"
        ssh slave3 "jps"
        echo -e "\e[32m...all-jps-end...\033[0m"
        echo -e "\e[32m---------------------------------------------------------------------------\033[0m"

运行

jpall

查看各节点的主备状态

hdfs haadmin -getServiceState nn1

查看 HDFS 状态

hdfs dfsadmin -report

WEB 访问可以直接浏览器： IP:50070

测试

HDFS

上传一个文件

hdfs dfs -put test.out

check

hdfs dfs -ls /user/root

hadoop fs -rm -r -skipTrash /user/root/test.out

删除

Mapreduce

我们使用 hadoop 自带的圆周率测试

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi 5 5

运行结果

高可用

查看进程

jps

杀死进程

kill -9 5114

现在 master 已不是 namenode 了

现在 slave1 变成了主节点

恢复 master 节点

hadoop-daemon.sh start namenode

master 变成了 standby，什么 HA 具备

Hadoop HA 集群的重装

删除所有节点中 hadoop 的工作目录(core-site.xml 中配置的 hadoop.tmp.dir 那个目录）

如果你在 core-site.xml 中还配置了 dfs.datanode.data.dir 和 dfs.datanode.name.dir 这两个配置，那么把这两个配置对应的目录也删除

删除所有节点中 hadoop 的 log 日志文件，默认在 HADOOP_HOME/logs 目录下

删除 zookeeper 集群中所关于 hadoop 的 znode 节点

图中的红色框中 rmstore 这个节点不能删除，删除另外两个就可以

重新格式化 ZKFC 的时候会询问是否覆盖 rmstore 这个节点，输入 yes 即可
删除所有节点中的 journaldata，路径是在 hdfs-site.xml 中的 dfs.journalnode.edits.dir 中配置的
按照上面安装集群的步骤重新安装即可

【亲测】Hadoop 高可用集群搭建与开发环境部署（二）

配置 Hadoop Cluster

集群复刻

集群互联

HOST 配置

配置无密码 SSH

客户端配置（建议）

部署 ZooKeeper

准备

添加环境变量

修改配置

集群部署

部署 Hadoop

准备

添加环境变量

配置

检查

测试

HDFS

Mapreduce

Hadoop HA 集群的重装

热门文章

最新文章

相关课程

相关电子书

相关实验场景

【亲测】Hadoop 高可用集群搭建 与 开发环境部署（二）

配置 Hadoop Cluster

集群复刻

集群互联

HOST 配置

配置无密码 SSH

客户端配置（建议）

部署 ZooKeeper

准备

添加环境变量

修改配置

集群部署

部署 Hadoop

准备

添加环境变量

配置

检查

测试

HDFS

Mapreduce

Hadoop HA 集群的重装

热门文章

最新文章

相关课程

相关电子书

相关实验场景

【亲测】Hadoop 高可用集群搭建与开发环境部署（二）