AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

四十九、Hadoop HA部署（MINI版）（二）

2022-05-30 563
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
注册配置 MSE Nacos/ZooKeeper，118元/月
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
简介： 四十九、Hadoop HA部署（MINI版）（二）

环境部署：

一、解压 JDK 安装包到“/usr/local/src”路径，并配置环境变量；截取环境变量配置文件截图


       1、关闭防火墙 和 关闭防火墙自启


systemctl stop firewalld.service
systemctl disable firewalld.service

     注：三台机器全部都要关闭防火墙 和 自启


       2、进入 /h3cu/ 目录


38.png


        3、解压 jdk 到 /usr/local/src


tar -zxvf jdk1.8.0_221.tar.gz -C /usr/local/src/

       4、配置环境变量


vi /etc/profile

39.png


二、在指定目录下安装ssh服务，查看ssh进程并截图（安装包统一在“/h3cu/”）


       1、查看是否已安装ssh服务


rpm -qa | grep ssh

40.png


       注：如有这些包，说明ssh服务已安装


       2、使用yum进行安装ssh服务


yum -y install openssh openssh-server

       3、查看ssh进程


ps -ef | grep ssh

41.png


三、创建 ssh 密钥，实现主节点与从节点的无密码登录；截取主节点登录其中一个从节点的结果


       1、在指定目录下生成密钥对


ssh-keygen -t rsa

42.png


       注：依次在系统等待输入时敲入回车键（一共4次回车）后,即可生成密钥对


       2、分发公匙文件

43.png

ssh-copy-id 192.168.231.244
ssh-copy-id 192.168.231.245
ssh-copy-id 192.168.231.246


       注：此为例图，需要免密登录的机器全部都要分发


       3、主节点免密登录从节点


49.png


四、 根据要求修改每台主机 host 文件，截取“/etc/hosts”文件截图


50.png

       注：此处需注意，三台机器的hosts文件全部都要修改


五、修 改 每 台 主 机 hostname 文 件 配 置 IP 与 主 机 名 映 射 关 系 ； 截 取 “/etc/hostname”文件截图


               三台电脑分别设置主机名


hostnamectl set-hostname master1-1
hostnamectl set-hostname slave1-1
hostnamectl set-hostname slave1-2

46.png

47.png

48.png



六、在主节点和从节点修改 Hadoop 环境变量，并截取修改内容


       1、修改Hadoop环境变量


vi /etc/profile

51.png


七、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求，并与 Hadoop HA 环境适配


       1、解压zookeeper


tar -zxvf /h3cu/zookeeper-3.4.8.tar.gz -C /usr/local/src/

       2、重命名


mv /usr/local/src/zookeeper-3.4.8 /usr/local/src/zookeeper

       3、进入zookeeper/conf目录下


cd /usr/local/src/zookeeper/conf

       4、重命名zoo_sample.cfg为zoo.cfg


mv zoo_sample.cfg zoo.cfg

       5、修改zoo.cfg配置文件


vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/usr/local/src/zookeeper/data
dataLogDir=/usr/local/src/zookeeper/logs
server.1=master1-1:2888:3888
server.2=slave1-1:2888:3888
server.3=slave1-2:2888:3888

       6、创建ZooKeeper 的数据存储与日志存储目录


mkdir /usr/local/src/zookeeper/data
mkdir /usr/local/src/zookeeper/logs

       7、创建myid文件并写入内容：1


vi /usr/local/src/zookeeper/data/myid

       8、添加zookeeper环境变量


vi /etc/profile
export ZK_HOME=/usr/local/src/zookeeper
export PATH=$PATH:$ZK_HOME/bin

       9、集群分发


scp -r /etc/profile slave1-1:/etc/profile
scp -r /etc/profile slave1-2:/etc/profile
scp -r /usr/local/src/zookeeper slave1-1:/usr/local/src/
scp -r /usr/local/src/zookeeper slave1-2:/usr/local/src/

       10、修改slave1-1 和 slave1-2的myid文件分别为2 ，3


vi /usr/local/src/zookeeper/data/myid

八、修改 namenode、datanode、journalnode 等存放数据的公共目录为 /usr/local/hadoop/tmp


       1、解压安装Hadoop


tar -zxvf /h3cu/hadoop-2.7.1.tar.gz -C /usr/local/

       2、重命名Hadoop


mv /usr/local/hadoop-2.7.1 /usr/local/hadoop

       3、进入hadoop配置文件目录


cd /usr/local/hadoop/etc/hadoop

       4、配置hadoop-env.sh文件


52.png


       5、配置core-site.xml文件


<configuration> 
<!-- 指定 hdfs 的 nameservice 为 mycluster -->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
 </property>
 <!-- 指定 zookeeper 地址 -->
 <property>
  <name>ha.zookeeper.quorum</name>
  <value>master1-1:2181,slave1-1:2181,slave1-2:2181</value>
 </property>
 <!-- hadoop 链接 zookeeper 的超时时长设置 -->
 <property>
  <name>ha.zookeeper.session-timeout.ms</name>
  <value>30000</value>
 <description>ms</description>
 </property>
 <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
 </property>
</configuration>

        6、配置hdfs-site.xml文件


<configuration> 
<!-- journalnode 集群之间通信的超时时间 -->
 <property>
 <name>dfs.qjournal.start-segment.timeout.ms</name>
 <value>60000</value>
 </property>
 <!--指定 hdfs 的 nameservice 为 mycluster，需要和 core-site.xml 中的保持一致 
dfs.ha.namenodes.[nameservice id]为在 nameservice 中的每一个 NameNode 设置唯一标示
符。配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
如果使用"mycluster"作为 nameservice ID，并且使用"master"和"slave1"作为 NameNodes 标
示符 -->
 <property>
 <name>dfs.nameservices</name>
 <value>mycluster</value>
 </property>
 <!-- mycluster 下面有两个 NameNode，分别是 master，slave1 -->
 <property>
 <name>dfs.ha.namenodes.mycluster</name>
 <value>master1-1,slave1-1</value>
 </property>
 <!-- master 的 RPC 通信地址 -->
 <property>
 <name>dfs.namenode.rpc-address.mycluster.master1-1</name>
 <value>master1-1:9000</value>
 </property>
 <!-- slave1 的 RPC 通信地址 -->
 <property>
 <name>dfs.namenode.rpc-address.mycluster.slave1-1</name>
 <value>slave1-1:9000</value>
 </property>
 <!-- master 的 http 通信地址 -->
 <property>
 <name>dfs.namenode.http-address.mycluster.master1-1</name>
 <value>master1-1:50070</value>
 </property>
 <!-- slave1 的 http 通信地址 -->
 <property>
 <name>dfs.namenode.http-address.mycluster.slave1-1</name>
 <value>slave1-1:50070</value>
 </property>
<!-- 指定 NameNode 的 edits 元数据的共享存储位置。也就是 JournalNode 列表
 该 url 的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
 journalId 推荐使用 nameservice，默认端口号是：8485 -->
 <property>
 <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://master1-1:8485;slave1-1:8485;slave1-2:8485/mycluster</value>
 </property>
 <!-- 配置失败自动切换实现方式 -->
 <property>
 <name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
 <property>
 <name>dfs.ha.fencing.methods</name>
 <value>
 sshfence
 shell(/bin/true)
 </value>
 </property>
 <property>
 <name>dfs.permissions.enabled</name>
 <value>false</value>
 </property>
 <property>
 <name>dfs.support.append</name>
 <value>true</value>
 </property>
 <!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
 <property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/root/.ssh/id_rsa</value>
 </property>
 <!-- 指定副本数 -->
 <property>
 <name>dfs.replication</name>
 <value>2</value>
 </property>
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>/usr/local/hadoop/tmp/name</value>
 </property>
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>/usr/local/hadoop/tmp/data</value>
 </property>
 <!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
 <property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/usr/local/hadoop/tmp/journal</value>
 </property>
 <!-- 开启 NameNode 失败自动切换 -->
 <property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
 </property>
 <!-- 启用 webhdfs -->
 <property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
 </property>
 <!-- 配置 sshfence 隔离机制超时时间 -->
 <property>
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
 </property>
 <property>
 <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
 <value>60000</value>
 </property>
 </configuration>

       7、配置mapred-site.xml文件


               A、拷贝mapred-site.xml.template重命名为mapred-site.xml


cp mapred-site.xml.template mapred-site.xml

               B、编辑文件


vi mapred-site.xml
<configuration> 
<!-- 指定 mr 框架为 yarn 方式 -->
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
 <!-- 指定 mapreduce jobhistory 地址 -->
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>master1-1:10020</value>
 </property>
 <!-- 任务历史服务器的 web 地址 -->
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master1-1:19888</value>
 </property>
 </configuration>

       8、配置yarn-site.xml文件


<configuration> 
<!-- Site specific YARN configuration properties -->
 <!-- 开启 RM 高可用 -->
 <property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
 </property>
 <!-- 指定 RM 的 cluster id -->
 <property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
 </property>
 <!-- 指定 RM 的名字 -->
 <property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
 </property>
 <!-- 分别指定 RM 的地址 -->
 <property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1-1</value>
 </property>
 <property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>slave1-1</value>
 </property>
 <!-- 指定 zk 集群地址 -->
 <property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>master1-1:2181,slave1-1:2181,slave1-2:2181</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
 <property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>86400</value>
 </property>
 <!-- 启用自动恢复 -->
 <property>
  <name>yarn.resourcemanager.recovery.enabled</name>
  <value>true</value>
 </property>
 <!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上 -->
 <property>
  <name>yarn.resourcemanager.store.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
 </property>
 </configuration>

       9、创建tmp , logs, tmp/下创建name,data,journal目录


mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/logs
mkdir /usr/local/hadoop/tmp/journal
mkdir /usr/local/hadoop/tmp/data
mkdir /usr/local/hadoop/tmp/name

       10、配置hadoop/etc/hadoop/slaves文件


master1-1
slave1-1
slave1-2

       11、分发jdk和hadoop文件


scp -r /usr/local/src/jdk1.8.0_221/ slave1-1:/usr/local/src/
scp -r /usr/local/src/jdk1.8.0_221/ slave1-2:/usr/local/src/
scp -r /usr/local/hadoop slave1-1:/usr/local/
scp -r /usr/local/hadoop slave1-2:/usr/local/

       12、确保3台机器的环境变量已经生效


source /etc/profile

       注：三台机器全部进行source即时生效


九、根据要求修改 Hadoop 相关文件，并初始化 Hadoop，截图初始化结果


       1、启动zookeeper集群并查看状态


进入zookeeper安装目录下


bin/zkServer.sh start
bin/zkServer.sh status

       注：三台机器都要启动


       2、初始化HA在zookeeper中的状态


进入hadoop安装目录下


bin/hdfs zkfc -formatZK

       3、启动全部机器的 journalnode 服务


进入/usr/local/hadoop安装目录下


sbin/hadoop-daemon.sh start journalnode

       注：三台机器全部启动journalnode进程


       4、初始化namenode


进入hadoop/bin目录下


hdfs namenode -format

53.png


        注：观察是否有报错信息，status是否为0，0即为初始化成功，1则报错，检查配置文件是否有误


十、启动 Hadoop，使用相关命令查看所有节点 Hadoop 进程并截图


       1、启动hadoop所有进程


进入hadoop安装目录下


sbin/start-all.sh

54.png


55.png

56.png



       注：三台机器使用 ps -ef 命令查看进程


十一、本题要求配置完成后在 Hadoop 平台上运行查看进程命令，要求运行结果的截屏保存

57.png

58.png

59.png


        注：三台机器使用 jps 命令查看hadoop 进程


十二、格式化主从节点


       1、复制 namenode 元数据到其它节点


scp -r /usr/local/hadoop/tmp/* slave1-1:/usr/local/hadoop/tmp/
scp -r /usr/local/hadoop/tmp/* slave1-2:/usr/local/hadoop/tmp/

60.png


61.png


        注：由于之前namenode,datanode,journalnode的数据全部存放在hadoop/tmp目录下，所以直接复制 tmp 目录至从节点


十三、启动两个 resourcemanager 和 namenode


       1、在slave1-1节点启动namenode和resourcemanager进程


进入hadoop安装目录


sbin/yarn-daemon.sh start resourcemanager
sbin/hadoop-daemon.sh start namenode

十四、使用查看进程命令查看进程,并截图(要求截取主机名称),访问两个 namenode 和 resourcemanager web 界面.并截图保存(要求截到 url 状态)


62.png


1、配置windows中的hosts文件


       A、进入C:\Windows\System32\drivers\etc目录下找到hosts文件


       B、更改hosts文件的属性，使其可以修改内容


       C、最后加入


192.168.231.244 master1-1 master1-1.centos.com
192.168.231.245 slave1-1 slave1-1.centos.com
192.168.231.246 slave1-2 slave1-2.centos.com

更改前


63.png


更改后


64.png


修改hosts文件拒绝访问参考：


Windows10 修改 hosts 拒绝访问如何解决？


win修改hosts拒绝访问


2、在浏览访问两个 namenode 和 resourcemanager web 界面


namenode web界面：


地址栏输入master1-1:50070 如图所示


65.png


地址栏输入slave1-1:50070 如图所示


66.png


resourcemanager web 界面:


67.png


       注：点击左方Nodes可以看到当前存在的节点


十五、终止 active 的 namenode 进程,并使用 Jps 查看各个节点进程,(截上主机名称),访问两个 namenode 和 resourcemanager web 界面.并截图保存 (要求截到 url 和状态)


       1、终止活跃状态的namenode


kill -9 （namenode进程号）


68.png


69.png

70.png



71.png

72.png

73.png


74.png



十六、重启刚才终止的 namenode,并查看 jps 进程,截图访问两个 namenode 的 web 界面,并截图保存


sbin/hadoop-daemon.sh start namenode


75.png

76.png


Hadoop HA部署（MINI版）完成

文章标签：
微服务引擎
Java
分布式计算
Windows
网络安全
数据安全/隐私保护
Hadoop
存储
关键词：
hadoop ha
hadoop部署
hadoop ha部署mini
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作，您将了解并实现在线业务的微服务全链路灰度能力。
托马斯-酷涛
目录
相关文章
听风de歌
|
6月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤：准备新节点，配置静态IP，安装并配置Hadoop，将新节点添加到集群，验证测试，及优化调整。确保符合硬件需求，更新集群节点列表，执行`hdfs dfsadmin -refreshNodes`命令，检查新节点状态，并依据测试结果优化性能。注意不同环境可能需要调整具体步骤，建议参照官方文档并在测试环境中预演。
听风de歌
59 4
武子康
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
武子康
64 2
赵渝强老师
|
7天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】基于ZooKeeper实现Hadoop HA
本文介绍了如何在4个节点（bigdata112、bigdata113、bigdata114和bigdata115）上部署HDFS高可用（HA）架构，并同时部署Yarn的HA。详细步骤包括环境变量设置、配置文件修改、ZooKeeper集群启动、JournalNode启动、HDFS格式化、ZooKeeper格式化以及启动Hadoop集群等。最后通过jps命令检查各节点上的后台进程，确保部署成功。
赵渝强老师
20 0
赵渝强老师
|
7天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法，包括解压安装、设置环境变量、配置Hadoop参数等步骤，并通过一个简单的WordCount程序示例，演示了如何在本地模式下运行MapReduce任务。
赵渝强老师
22 0
william.zhang(张)
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）（二）
Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）（二）
william.zhang(张)
200 2
william.zhang(张)
|
3月前
|
分布式计算 Ubuntu Hadoop
Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）（一）
Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）（一）
william.zhang(张)
529 2
1288912195458132
|
3月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
1288912195458132
93 0
1288912195458132
|
3月前
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
1288912195458132
91 0
郑小健
|
3月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。随着云计算技术的发展，越来越多的企业开始利用云平台的优势来部署Hadoop集群，以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群，并提供具体的部署策略和代码示例。
郑小健
114 0
听风de歌
|
5月前
|
分布式计算 Hadoop 网络安全
Hadoop集群配置与部署免密登录配置出错，Permission denied
【6月更文挑战第3天】
听风de歌
404 8

热门文章

最新文章

  • 1
    Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
  • 2
    最新版本——Hadoop3.3.6单机版完全部署指南
  • 3
    Hadoop 2.x本地库native lib及如何源码编译
  • 4
    linux下安装hadoop步骤
  • 5
    手把手教你使用自建Hadoop访问全托管服务化HDFS（OSS-HDFS服务）
  • 6
    【centos6.5 hadoop2.7 _64位一键安装脚本】有问题加我Q直接问
  • 7
    hadoop安装小记
  • 8
    发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
  • 9
    cdh5.3.10_hadoop环境迁移之主机IP修改
  • 10
    Hadoop2.6.0运行mapreduce之推断（speculative）执行（下）
  • 1
    Hadoop网络带宽限制
    104
  • 2
    HADOOP硬件资源限制
    63
  • 3
    Hadoop性能问题
    65
  • 4
    Hadoop任务执行失败
    121
  • 5
    Hadoop内存溢出
    108
  • 6
    Hadoop中DataNode故障
    200
  • 7
    Hadoop中NameNode故障
    70
  • 8
    hadoop常见问题
    50
  • 9
    Hadoop中运行Job
    52
  • 10
    hadoop编写Reducer类
    40

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    阿里云OSS设置跨域访问