备案控制台
探索云世界
开发者社区 大数据 文章 正文

搭建hadoop集群教程

2022-11-13 471
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介： 详细的Hadoop搭建教程

一.集群规划

bigdata01 bigdata02 bigdata03
NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
ZK ZK ZK
ResourceManager ResourceManager
NodeManager NodeManager NodeManager

二.集群搭建

1.修改服务器的主机名称、主机名和IP的映射。

1.1 修改主机名称

vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata01    ### //不能以数字开头，标点只能用减号-

1.2 修改主机名和IP映射

vim /etc/hosts
192.168.20.66   bigdata01
192.168.20.67   bigdata02
192.168.20.68   bigdata03

1.3 重启网络服务，使配置生效

service network restart

1.4 测试主机名是否修改成功

hostname

1.5 查看主机名对应的IP

hostname -i

1.6 主机之间相互访问，判断网络是否相通

在bigdata01上面
ping bigdata02
ping bigdata03
在bigdata02上面
ping bigdata01
ping bigdata03
在bigdata03上面
ping bigdata01
ping bigdata02

2. 配置服务器之间SSH免密登录

2.1 在服务器bigdata01上面执行如下命令

ssh-key gen -t rsa  # 生成公钥和私钥
然后执行如下命令
ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

2.2 在服务器bigdata02上面执行如下命令

ssh-key gen -t rsa  # 生成公钥和私钥
然后执行如下命令
ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

2.3 在服务器bigdata03上面执行如下命令

ssh-key gen -t rsa  # 生成公钥和私钥
然后执行如下命令
ssh-copy-id bigdata01
ssh-copy-id bigdata02
ssh-copy-id bigdata03

2.4 配置完成之后，可以在每台机器上进行试验，是否成功

在bigdata01上面测试
ssh bigdata02  ssh bigdata03是否能够免密登录

2.5 如果不可用,在不可用的机器上，重新执行ssh-copy-id 命令。

3.安装jdk

3.1将jdk解压到 /opt/module目录下面

tar -zxvf  jdk-8u231-linux-x64.tar.gz -C /opt/module

3.2配置jdk的环境变量

vim /etc/profile
在文件最后面加入
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

3.3使配置生效

source /etc/profile

4.关闭服务器防火墙

4.1 关闭防火墙

systemctl stop firewalld.service

4.2 查看防火墙状态是否关闭成功

systemctl status firewalld.service

5.搭建zookeeper集群

5.1 将zookeeper解压到/opt/module目录下面(zookeeper要下载名称中带-bin的包)。

tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz -C /opt/module/

5.2 在zookeeper下面创建zkData目录。

mkdir zkData

5.3 重命名conf目录下面的配置文件zoo_simple.cfg

mv zoo_simple.cfg zoo.cfg

5.4 修改zoo.cfg文件。

具体配置 
dataDir=/opt/module/zookeeper-3.4.10/zkData  
增加如下配置 
#######################cluster########################## 
server.1=bigdata01:2888:3888
server.2=bigdata02:2888:3888
server.3=bigdata03:2888:3888

5.5 在zkData目录下面创建myid文件

touch myid
在myid里面写入1,表示zoo.cfg里面server.1中的1。

5.6 将配置好的zookeeper拷贝到另外两台服务器，修改myid文件中的值为对象的server的值。 5.7 分别启动zookeeper。

[root@bigdata01 zookeeper-3.5.6]# bin/zkServer.sh start
[root@bigdata02 zookeeper-3.5.6]# bin/zkServer.sh start
[root@bigdata03 zookeeper-3.5.6]# bin/zkServer.sh start

5.8 查看启动状态，有一台leader，两天follower，表示启动成功。

[root@bigdata01 zookeeper-3.5.6]# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.6/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[root@bigdata02 zookeeper-3.5.6]# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.6/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader
[root@bigdata03 zookeeper-3.5.6]# bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.6/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

5.9 如果启动过程中出现org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Address unresolved: bigdata03:3888 异常，是因为bigdata03:3888后面有空格所致。

6.搭建hadoop集群

6.1 安装hadoop。

6.2 修改hadoop的etc/hadoop目录下面的hadoop-env.sh文件。

# 在其中加入jdk路径
JAVA_HOME=/opt/module/jdk1.8.0_144 
# 加入各个组件操作的用户，防止放弃操作出现用户无法操作问题。
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

6.3 修改的etc/hadoop目录下面的core-site.xml文件。

<configuration>
   <!--把两个NameNode的地址组装成一个集群mycluster -->
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://mycluster</value>
   </property>   
   <!--指定hadoop运行时产生文件的存储目录 -->
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop-3.2.1/data/tmp</value>
   </property>
   <!--配置zookeeper集群的地址,进行namenode发生故障时自动转移 -->
   <property>
      <name>ha.zookeeper.quorum</name>
      <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
   </property>
</configuration>

6.4 修改hadoop中etc/hadoop目录下面的hdfs-site.xml文件。

<configuration>
  <!--完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!--集群中NameNode节点名称 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>
  <!--nn1的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>bigdata01:9000</value>
  </property>
  <!-- nn2的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>bigdata02:9000</value>
  </property>
  <!--nn1的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>bigdata01:50070</value>
  </property>
  <!-- nn2的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>bigdata02:50070</value>
  </property>
  <!--指定Namenode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://bigdata01:8485,bigdata02:8485,bigdata03:8485</value>
  </property>
  <!--配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
  </property>
  <!--使用隔离机制时需要ssh无秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <!--声明journalnode服务器存储目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop-3.1.2/data/jn</value>
  </property>
  <!--关闭检查权限 -->
  <property>
    <name>dfs.permissions.enables</name>
    <value>false</value>
  </property>
  <!--访问代理类client，mycluster，active 配置失败自动切换实现方式-->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.Configu redFailoverProxyProvider</value>
  </property>
  <!-- 开启故障自动转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

6.5 修改hadoop中etc/hadoop目录下面的yarn-site.xml文件。

<configuration>
   <property> 
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <!--启用 resourcemanager ha--> 
   <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
   </property>
    <!--声明两台 resourcemanager 的地址--> 
   <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster-yarn1</value>
   </property>
   <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>bigdata01</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
      <value>bigdata02</value>
   </property>
    <!--指定 zookeeper 集群的地址--> 
   <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
   </property>
    <!--启用自动恢复--> 
   <property>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
   </property>
    <!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->  
   <property>
       <name>yarn.resourcemanager.store.class</name>
       <value>>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
   </property>
</configuration>

6.6 启动高可用hadoop集群

  • 启动hdfs集群。
  1. 在三台服务器上分别启动journalnode。
在hadoop的bin目录下面执行下面语句
./hdfs --daemon start journalnode
  1. 在配置了NameNode的任一服务器上面格式化NameNode。
# 在bigdata01服务器的hadoop的bin目录下面执行命令
./hdfs namenode -format
  1. 在执行了上面命令的那台服务器上面启动NameNode。
# 在bigdata01服务器的hadoop的bin目录下面执行命令
./hdfs --daemon start namenode
  1. 在另外一台配置了NameNode的服务器上面同步NameNode信息。
# 在bigdata02服务器的hadoop的bin目录下面执行命令
./hdfs namenode -bootstrapStandby
  1. 格式化zk
# 在bigdata01服务器的hadoop的bin目录下面执行命令
./hdfs zkfc -formatZK
  1. 启动hadoop集群
# 在bigdata01服务器的hadoop的sbin目录下面执行命令
./start-dfs.sh
  1. 启动其他服务器的DataNode。
# 在bigdata02和bigdata03服务器的bin目录下面执行命令
./hdfs --daemon start datanode
  • 启动yarn集群
  1. 在配置了resourcemanager的任一台服务器上面启动resourcemanager。
# 在bigdata01服务器的hadoop的sbin目录下执行命令
./start-yarn.sh
  1. 在其余服务器上面启动nodemanager。
# 在bigdata02和bigdata03服务器的hadoop的bin目录下执行
./yarn --daemon start nodemanager

6.7高可用测试。

  • hdfs高可用测试。
  1. 查看NameNode的状态。
# 在bigdata01和bigdata02服务器的hadoop的bin目录下面执行命令
./hdfs haadmin -getServiceState nn1
./hdfs haadmin -getServiceState nn2
  1. 手动切换NameNode状态
## 假如nn1的状态为standby，nn2的状态为active
# 在状态为standby的NameNode所在的机器上的hadoop的bin目录下执行命令
./hdfs haadmin -transitionToActive nn1
# 可将NameNode的状态切换为active。
# 在状态为active的NameNode所在的机器上的hadoop的bin目录下执行命令
./hdfs haadmin -transitionToStandby nn2
# 可将NameNode的状态切换为standby。
  1. 测试高可用

将NameNode状态为active的服务器的active停掉。

# 在状态为active的NameNode所在的机器上的hadoop的bin目录下执行命令
./hdfs --daemon stop namenode
# 然后查看状态为standby的那个NameNode的状态，如果已经变为active，表示成功。
  • 测试yarn高可用
  1. 查询yarn的状态
# 在bigdata01和bigdata02服务器的hadoop的bin目录下面执行命令
./hdfs rmadmin -getServiceState rm1
./hdfs rmadmin -getServiceState rm2
  1. 手动切换yarn状态
## 假如rm1的状态为standby，rm2的状态为active
# 在状态为standby的resourcemanager所在的机器上的hadoop的bin目录下执行命令
./yarn rmadmin -transitionToActive rm1
# 可将resourcemanager的状态切换为active。
# 在状态为active的Nresourcemanager所在的机器上的hadoop的bin目录下执行命令
./hdfs rmadmin -transitionToStandby rm2
# 可将resourcemanager的状态切换为standby。
  1. 测试高可用

将resourcemanager状态为active的服务器的resourcemanager停掉。

# 在状态为active的resourcemanager所在的机器上的hadoop的bin目录下执行命令
./yarn --daemon stop resourcemanager
# 然后查看状态为standby的那个resourcemanager的状态，如果已经变为active，表示成功。
文章标签：
微服务引擎
Java
分布式计算
资源调度
网络安全
Hadoop
关键词：
hadoop集群
hadoop集群教程
hadoop教程
hadoop搭建
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
图南(母晶晶)
目录
相关文章
yuanzhengme
|
29天前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）
yuanzhengme
54 3
李振良_阿良
|
15天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
李振良_阿良
21 1
一百减一是零
|
20天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
一百减一是零
35 0
一百减一是零
|
20天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
一百减一是零
20 0
听风de歌
|
21天前
|
存储 分布式计算 Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展（增强单节点资源）和水平扩展（增加节点数量）来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性，并根据需求调整以提升集群性能和效率。
听风de歌
21 1
yuanzhengme
|
25天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
53 9
yuanzhengme
|
26天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
yuanzhengme
35 4
爱吃糖的范同学
|
28天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
爱吃糖的范同学
20 0
yuanzhengme
|
29天前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】（附：集群启动&停止Shell脚本）
yuanzhengme
37 2
jianz123
|
29天前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群（二）
centos 部署Hadoop-3.0-高性能集群（二）
jianz123
20 0
centos 部署Hadoop-3.0-高性能集群（二）

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 3
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
  • 4
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 5
    大数据处理架构Hadoop
  • 6
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 7
    【Hadoop】HDFS 读写流程
  • 8
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 9
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 10
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 1
    Apache Hadoop YARN基本架构
    27
  • 2
    hadoop模块
    28
  • 3
    使用Hadoop和Nutch构建音频爬虫：实现数据收集与分析
    27
  • 4
    Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
    74
  • 5
    百度搜索：蓝易云【Ubuntu搭建全分布式Hadoop】
    28
  • 6
    hadoop升级流程
    55
  • 7
    使用Sqoop将数据从Hadoop导出到关系型数据库
    84
  • 8
    使用Sqoop将数据导入Hadoop的详细教程
    89
  • 9
    Hadoop和Hive中的数据倾斜问题及其解决方案
    48
  • 10
    Hadoop生态各个组件的关系
    23

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 安装配置Terraform环境
  • 跟我学：如何一键安装部署 PolarDB-X
  • 基于函数计算快速搭建Wordpress博客系统
  • 搭建超级小班课网课系统
  • 快速搭建高可用网站服务
  • 基于函数计算快速搭建Hexo博客系统
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）