【分布式计算框架】hadoop全分布式及高可用搭建

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 【分布式计算框架】hadoop全分布式及高可用搭建

hadoop全分布式及高可用搭建

一、实验目的

  • hadoop完全分布式搭建
  • hadoop高可用搭建

二、实验环境

  • ubuntu 6.5
  • VMware Workstation

三、实验内容

hadoop全分布式搭建

一、准备工作:(前提:已配置好node01为伪分布式服务器)

(1)安装java

同理在2、3…号机安装java

(2)同步所有服务器时间

date

date -s “2024-03-17 19:33:00” //所有会话

(3)cat /etc/sysconfig/network //查看机器IP映射

(4)cat /etc/hosts //所有所有机器别名

(5)cat /etc/sysconfig/selinux //selinux 关闭

(6)关闭防火墙

(7)ssh 免密钥 //管理节点分发密钥文件给其他节点

分发给node02:

在node1上输入:scp id_dsa.pub hxq20191909node02:pwd/20191909node01.pub

在node02的.ssh目录下输入

cat 20191909node01.pub >>authorized_keys

以此类推

二、修改配置文件

/opt/20191909/hadoop-2.6.5/etc/hadoop 目录下

备份hadoop

node02:

(1)core-site.xml

 <configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://node02:9000</value>
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/var/20191909/hadoop/full</value>
   </property>  
 </configuration>

(2)hdfs-site.xml

   <property>
      <name>dfs.replication</name>
      <value>2</value>
   </property>
   <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hxq20191909node02:50090</value>
   </property>

(3)slaves

 node02
 node03
 node04
 node05
 node06

三、分发hadoop-2.6.5给其他节点
scp -r 20191909/  hxq20191909node02:`pwd`

以此类推

四、分发环境变量给其他节点
scp /etc/profile hxq20191909node02:/etc/ #node1会话下
. /etc/profile #全部会话下

五、格式化
hdfs namenode -format
 //ls  /var/20191909/hadoop/full

六、启动
start-dfs.sh

七、出现问题,看日志
ll /opt/20191909/hadoop-2.6.5/logs
tail -100 hadoop-root-datanode-20191909node01.log

八、浏览器查看信息
20191909node01:50070

创建目录

浏览器上查看

九、练习上传文件

在~/software目录里创建一个新文件

for i in seq 100000;do echo “hello 20191909$i” >> test.txt;done

查看新文件大小

ll -h //test.txt文件大小约为3.5M

设置块大小上传文件

hdfs dfs -D dfs.blocksize=1048576 -put test.txt

浏览器查看文件块

高可用搭建

先关闭服务

(1)文档:/opt/20191909/hadoop-2.6.5/share/doc/hadoop 官方文档

(2)两个namenode节点互相免密钥

(本例中node01,node02互相免密钥,node02生成密钥文件,分发自己和node01)

在node02的.ssh目录下输入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   

cat id_dsa.pub >> authorized_keys           //将id_dsa.pub公钥文件追加到验证文件

scp id_dsa.pub 20191909node01:`pwd`/hxq20191909node02.pub//分发密钥给node01

cat hxq20191909node02.pub>>authorized_keys //在node01的.ssh目录下

在node02下来登录node01

(3)配置文件:

在/opt/20191909/hadoop-2.6.5/etc/hadoop目录下

  1. dfs.nameservices //逻辑名称

hdfs-site.xml

<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>

  1. dfs.ha.namenodes.[nameservice ID] //只能1主1从两个
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>

  1. dfs.namenode.rpc-address.[nameservice ID].[name node ID]
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>20191909node01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hxq20191909node02:8020</value>
</property>

4.dfs.namenode.http-address.[nameservice ID].[name node ID]

<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>20191909node01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hxq20191909node02:50070</value>
</property>

5.dfs.namenode.shared.edits.dir // URI which identifies the group of JNs

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://20191909node01:8485;hxq20191909node02:8485;hxq20191909node03:8485/mycluster</value>
</property>

6.dfs.client.failover.proxy.provider.[nameservice ID] //java class that HDFS clients use to contact the Active Namenode

<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>   
</property>

  1. dfs.ha.fencing.methods //a list of scripts or java classes which will be used to fence the Active Namenodes during a failover
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>    
</property>

8.fs.defaultFS //the default path prefix used by the Hadoop FS client when none is given

core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>

 <property>
 <name>hadoop.tmp.dir</name>
 <value>/var/20191909/hadoop/ha</value>
 </property>
  1. core-site暂时修改完成
  2. dfs.journalnode.edits.dir //the path where the journalnode daemon will store its local state
    在hdfs-site中修改
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/20191909/hadoop/ha/journalnode</value>

(4)zookeeper配置(自动故障转移)


ZooKeeper quorum and ZKFailoverController process

ZooKeeper 功能:Failure detection; Active Namenode election

ZKFC 功能:health monitoring;Zookeeper session management;zookeeper-based election)

hdfs-site.xml

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

core-site.xml

<property>
<name>ha.zookeeper.quorum</name>
<value>hxq20191909node02:2181,hxq20191909node03:2181,hxq20191909node04:2181,hxq20191909node05:2181,hxq20191909node06:2181</value>
</property>

(5) 分发配置文件给其他节点

scp core-site.xml hdfs-site.xml hxq20191909node02:`pwd`
scp core-site.xml hdfs-site.xml hxq20191909node03:`pwd`
...


(6) 搭建zookeeper

  1. 在相关节点安装zookeeper
    上传zookeeper-3.4.6.tar.gz压缩包

  1. 解压缩文件到/opt/20191909/目录下

tar xf zookeeper-3.4.6.tar.gz -C /opt/20191909/


  1. 配置zookeeper

进入zookeeper目录的conf目录

mv zoo_sample.cfg zoo.cfg

修改zoo.cfg,

dataDir=/var/20191909/zk (创建该目录)

增加:

server.1=hxq20191909node02:2888:3888
server.2=hxq20191909node03:2888:3888
server.3=hxq20191909node04:2888:3888
server.4=hxq20191909node05:2888:3888
server.5=hxq20191909node06:2888:3888


//1是ID,2888是主从节点通信端口,3888是选举机制端口,zookeeper也是主从架构,也有选举机制

  1. 分发zookeeper给其他节点
scp -r zookeeper-3.4.6/ hxq20191909node03:`pwd` //node3~6

mkdir -p /var/20191909/zk //都要创建
echo 1 > /var/20191909/zk/myid  //node02
echo 2 > /var/20191909/zk/myid  //node03
echo 3 > /var/20191909/zk/myid  //node04
echo 4 > /var/20191909/zk/myid  //node05
echo 5 > /var/20191909/zk/myid  //node06

5.设置环境变量(/etc/profile)

export ZOOKEEPER_HOME=/opt/20191909/zookeeper-3.4.6

PATH=$PATH:$ZOOKEEPER_HOME/bin

6.分发:

scp /etc/profile  hxq20191909node03:/etc/    //3~6都要发 然后. /etc/profile #2给3

(7) 启动zookeeper

zkServer.sh  start 

jps //查看进程: QuorumPeerMain

或者:

zkServer.sh status // Mode:leader  or  Mode:foolwer

zkServer.sh stop  //关闭zookeeper

注意:至少启动两台服务器

(8) 启动journalnode(3个节点)

hadoop-daemon.sh start journalnode

(9) 格式化node01(或 node02)

hdfs namenode -format

(10)启动node02

hadoop-daemon.sh start namenode

(11)复制node02元数据信息给node01

hdfs namenode -bootstrapStandby (在node01中执行)

(12)两个namenode在zookeeper上注册

 1.zkCli.sh  //客户端查看
     
    ls / 只有[zookeeper]

 2. hdfs zkfc -formatZK   //initializing HA state in zookeeper

    再查看: [hadoop-ha,zookeeper]

(13)在node01上启动(因为有免密钥登录)

start-dfs.sh

(14)浏览器访问

20191909node01:50070   //active
hxq20191909node02:50070   //standby

(15)实验:关闭node01(active namenode)

hadoop-daemon.sh stop namenode

hxq20191909node02:50070 //显示为active

关闭node01的namenode再打开

此时node01的状态变成standby

四、出现的问题及解决方案

  1. 报错

[root@hxq20191909node02 20191909]# zkServer.sh status JMX enabled by default Using config: /opt/20191909/zookeeper-3.4.6/bin/…/conf/zoo.cfg Error contacting service. It is probably not running.

解决方案

恢复快照,重新配置文件,细心一点

五、实验结果

实验成功搭建全分布式及高可用架构

现在在浏览器查看状态为

e

[外链图片转存中…(img-7DISxQuh-1711692961927)]

[外链图片转存中…(img-7O6QIYN8-1711692961927)]

关闭node01的namenode再打开

此时node01的状态变成standby

[外链图片转存中…(img-pd7VFpa9-1711692961927)]

[外链图片转存中…(img-NUYGW4gv-1711692961928)]

四、出现的问题及解决方案

报错

[root@hxq20191909node02 20191909]# zkServer.sh status JMX enabled by default Using config: /opt/20191909/zookeeper-3.4.6/bin/…/conf/zoo.cfg Error contacting service. It is probably not running.

解决方案

恢复快照,重新配置文件,细心一点

五、实验结果

实验成功搭建全分布式及高可用架构

现在在浏览器查看状态为

[外链图片转存中…(img-GDga6CX5-1711692961928)]

[外链图片转存中…(img-jVi3Fmxa-1711692961928)]

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
15天前
|
机器学习/深度学习 自然语言处理 并行计算
DeepSpeed分布式训练框架深度学习指南
【11月更文挑战第6天】随着深度学习模型规模的日益增大,训练这些模型所需的计算资源和时间成本也随之增加。传统的单机训练方式已难以应对大规模模型的训练需求。
61 3
|
19天前
|
机器学习/深度学习 并行计算 Java
谈谈分布式训练框架DeepSpeed与Megatron
【11月更文挑战第3天】随着深度学习技术的不断发展,大规模模型的训练需求日益增长。为了应对这种需求,分布式训练框架应运而生,其中DeepSpeed和Megatron是两个备受瞩目的框架。本文将深入探讨这两个框架的背景、业务场景、优缺点、主要功能及底层实现逻辑,并提供一个基于Java语言的简单demo例子,帮助读者更好地理解这些技术。
43 2
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
47 1
|
1月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
3月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
112 2
基于Redis的高可用分布式锁——RedLock
|
3月前
|
缓存 NoSQL Java
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
这篇文章是关于如何在SpringBoot应用中整合Redis并处理分布式场景下的缓存问题,包括缓存穿透、缓存雪崩和缓存击穿。文章详细讨论了在分布式情况下如何添加分布式锁来解决缓存击穿问题,提供了加锁和解锁的实现过程,并展示了使用JMeter进行压力测试来验证锁机制有效性的方法。
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
|
8天前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
41 16
|
1月前
|
缓存 NoSQL Java
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
59 3
大数据-50 Redis 分布式锁 乐观锁 Watch SETNX Lua Redisson分布式锁 Java实现分布式锁
|
1月前
|
NoSQL Redis 数据库
计数器 分布式锁 redis实现
【10月更文挑战第5天】
47 1
|
1月前
|
NoSQL 算法 关系型数据库
Redis分布式锁
【10月更文挑战第1天】分布式锁用于在多进程环境中保护共享资源,防止并发冲突。通常借助外部系统如Redis或Zookeeper实现。通过`SETNX`命令加锁,并设置过期时间防止死锁。为避免误删他人锁,加锁时附带唯一标识,解锁前验证。面对锁提前过期的问题,可使用守护线程自动续期。在Redis集群中,需考虑主从同步延迟导致的锁丢失问题,Redlock算法可提高锁的可靠性。
74 4