【分布式计算框架】hadoop全分布式及高可用搭建

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 【分布式计算框架】hadoop全分布式及高可用搭建

hadoop全分布式及高可用搭建

一、实验目的

  • hadoop完全分布式搭建
  • hadoop高可用搭建

二、实验环境

  • ubuntu 6.5
  • VMware Workstation

三、实验内容

hadoop全分布式搭建

一、准备工作:(前提:已配置好node01为伪分布式服务器)

(1)安装java

同理在2、3…号机安装java

(2)同步所有服务器时间

date

date -s “2024-03-17 19:33:00” //所有会话

(3)cat /etc/sysconfig/network //查看机器IP映射

(4)cat /etc/hosts //所有所有机器别名

(5)cat /etc/sysconfig/selinux //selinux 关闭

(6)关闭防火墙

(7)ssh 免密钥 //管理节点分发密钥文件给其他节点

分发给node02:

在node1上输入:scp id_dsa.pub hxq20191909node02:pwd/20191909node01.pub

在node02的.ssh目录下输入

cat 20191909node01.pub >>authorized_keys

以此类推

二、修改配置文件

/opt/20191909/hadoop-2.6.5/etc/hadoop 目录下

备份hadoop

node02:

(1)core-site.xml

 <configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://node02:9000</value>
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/var/20191909/hadoop/full</value>
   </property>  
 </configuration>

(2)hdfs-site.xml

   <property>
      <name>dfs.replication</name>
      <value>2</value>
   </property>
   <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hxq20191909node02:50090</value>
   </property>

(3)slaves

 node02
 node03
 node04
 node05
 node06

三、分发hadoop-2.6.5给其他节点
scp -r 20191909/  hxq20191909node02:`pwd`

以此类推

四、分发环境变量给其他节点
scp /etc/profile hxq20191909node02:/etc/ #node1会话下
. /etc/profile #全部会话下

五、格式化
hdfs namenode -format
 //ls  /var/20191909/hadoop/full

六、启动
start-dfs.sh

七、出现问题,看日志
ll /opt/20191909/hadoop-2.6.5/logs
tail -100 hadoop-root-datanode-20191909node01.log

八、浏览器查看信息
20191909node01:50070

创建目录

浏览器上查看

九、练习上传文件

在~/software目录里创建一个新文件

for i in seq 100000;do echo “hello 20191909$i” >> test.txt;done

查看新文件大小

ll -h //test.txt文件大小约为3.5M

设置块大小上传文件

hdfs dfs -D dfs.blocksize=1048576 -put test.txt

浏览器查看文件块

高可用搭建

先关闭服务

(1)文档:/opt/20191909/hadoop-2.6.5/share/doc/hadoop 官方文档

(2)两个namenode节点互相免密钥

(本例中node01,node02互相免密钥,node02生成密钥文件,分发自己和node01)

在node02的.ssh目录下输入

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   

cat id_dsa.pub >> authorized_keys           //将id_dsa.pub公钥文件追加到验证文件

scp id_dsa.pub 20191909node01:`pwd`/hxq20191909node02.pub//分发密钥给node01

cat hxq20191909node02.pub>>authorized_keys //在node01的.ssh目录下

在node02下来登录node01

(3)配置文件:

在/opt/20191909/hadoop-2.6.5/etc/hadoop目录下

  1. dfs.nameservices //逻辑名称

hdfs-site.xml

<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>

  1. dfs.ha.namenodes.[nameservice ID] //只能1主1从两个
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>

  1. dfs.namenode.rpc-address.[nameservice ID].[name node ID]
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>20191909node01:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hxq20191909node02:8020</value>
</property>

4.dfs.namenode.http-address.[nameservice ID].[name node ID]

<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>20191909node01:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hxq20191909node02:50070</value>
</property>

5.dfs.namenode.shared.edits.dir // URI which identifies the group of JNs

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://20191909node01:8485;hxq20191909node02:8485;hxq20191909node03:8485/mycluster</value>
</property>

6.dfs.client.failover.proxy.provider.[nameservice ID] //java class that HDFS clients use to contact the Active Namenode

<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>   
</property>

  1. dfs.ha.fencing.methods //a list of scripts or java classes which will be used to fence the Active Namenodes during a failover
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>    
</property>

8.fs.defaultFS //the default path prefix used by the Hadoop FS client when none is given

core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>

 <property>
 <name>hadoop.tmp.dir</name>
 <value>/var/20191909/hadoop/ha</value>
 </property>
  1. core-site暂时修改完成
  2. dfs.journalnode.edits.dir //the path where the journalnode daemon will store its local state
    在hdfs-site中修改
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/20191909/hadoop/ha/journalnode</value>

(4)zookeeper配置(自动故障转移)


ZooKeeper quorum and ZKFailoverController process

ZooKeeper 功能:Failure detection; Active Namenode election

ZKFC 功能:health monitoring;Zookeeper session management;zookeeper-based election)

hdfs-site.xml

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

core-site.xml

<property>
<name>ha.zookeeper.quorum</name>
<value>hxq20191909node02:2181,hxq20191909node03:2181,hxq20191909node04:2181,hxq20191909node05:2181,hxq20191909node06:2181</value>
</property>

(5) 分发配置文件给其他节点

scp core-site.xml hdfs-site.xml hxq20191909node02:`pwd`
scp core-site.xml hdfs-site.xml hxq20191909node03:`pwd`
...


(6) 搭建zookeeper

  1. 在相关节点安装zookeeper
    上传zookeeper-3.4.6.tar.gz压缩包

  1. 解压缩文件到/opt/20191909/目录下

tar xf zookeeper-3.4.6.tar.gz -C /opt/20191909/


  1. 配置zookeeper

进入zookeeper目录的conf目录

mv zoo_sample.cfg zoo.cfg

修改zoo.cfg,

dataDir=/var/20191909/zk (创建该目录)

增加:

server.1=hxq20191909node02:2888:3888
server.2=hxq20191909node03:2888:3888
server.3=hxq20191909node04:2888:3888
server.4=hxq20191909node05:2888:3888
server.5=hxq20191909node06:2888:3888


//1是ID,2888是主从节点通信端口,3888是选举机制端口,zookeeper也是主从架构,也有选举机制

  1. 分发zookeeper给其他节点
scp -r zookeeper-3.4.6/ hxq20191909node03:`pwd` //node3~6

mkdir -p /var/20191909/zk //都要创建
echo 1 > /var/20191909/zk/myid  //node02
echo 2 > /var/20191909/zk/myid  //node03
echo 3 > /var/20191909/zk/myid  //node04
echo 4 > /var/20191909/zk/myid  //node05
echo 5 > /var/20191909/zk/myid  //node06

5.设置环境变量(/etc/profile)

export ZOOKEEPER_HOME=/opt/20191909/zookeeper-3.4.6

PATH=$PATH:$ZOOKEEPER_HOME/bin

6.分发:

scp /etc/profile  hxq20191909node03:/etc/    //3~6都要发 然后. /etc/profile #2给3

(7) 启动zookeeper

zkServer.sh  start 

jps //查看进程: QuorumPeerMain

或者:

zkServer.sh status // Mode:leader  or  Mode:foolwer

zkServer.sh stop  //关闭zookeeper

注意:至少启动两台服务器

(8) 启动journalnode(3个节点)

hadoop-daemon.sh start journalnode

(9) 格式化node01(或 node02)

hdfs namenode -format

(10)启动node02

hadoop-daemon.sh start namenode

(11)复制node02元数据信息给node01

hdfs namenode -bootstrapStandby (在node01中执行)

(12)两个namenode在zookeeper上注册

 1.zkCli.sh  //客户端查看
     
    ls / 只有[zookeeper]

 2. hdfs zkfc -formatZK   //initializing HA state in zookeeper

    再查看: [hadoop-ha,zookeeper]

(13)在node01上启动(因为有免密钥登录)

start-dfs.sh

(14)浏览器访问

20191909node01:50070   //active
hxq20191909node02:50070   //standby

(15)实验:关闭node01(active namenode)

hadoop-daemon.sh stop namenode

hxq20191909node02:50070 //显示为active

关闭node01的namenode再打开

此时node01的状态变成standby

四、出现的问题及解决方案

  1. 报错

[root@hxq20191909node02 20191909]# zkServer.sh status JMX enabled by default Using config: /opt/20191909/zookeeper-3.4.6/bin/…/conf/zoo.cfg Error contacting service. It is probably not running.

解决方案

恢复快照,重新配置文件,细心一点

五、实验结果

实验成功搭建全分布式及高可用架构

现在在浏览器查看状态为

e

[外链图片转存中…(img-7DISxQuh-1711692961927)]

[外链图片转存中…(img-7O6QIYN8-1711692961927)]

关闭node01的namenode再打开

此时node01的状态变成standby

[外链图片转存中…(img-pd7VFpa9-1711692961927)]

[外链图片转存中…(img-NUYGW4gv-1711692961928)]

四、出现的问题及解决方案

报错

[root@hxq20191909node02 20191909]# zkServer.sh status JMX enabled by default Using config: /opt/20191909/zookeeper-3.4.6/bin/…/conf/zoo.cfg Error contacting service. It is probably not running.

解决方案

恢复快照,重新配置文件,细心一点

五、实验结果

实验成功搭建全分布式及高可用架构

现在在浏览器查看状态为

[外链图片转存中…(img-GDga6CX5-1711692961928)]

[外链图片转存中…(img-jVi3Fmxa-1711692961928)]

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
5天前
|
机器学习/深度学习 自然语言处理 并行计算
DeepSpeed分布式训练框架深度学习指南
【11月更文挑战第6天】随着深度学习模型规模的日益增大,训练这些模型所需的计算资源和时间成本也随之增加。传统的单机训练方式已难以应对大规模模型的训练需求。
28 3
|
9天前
|
机器学习/深度学习 并行计算 Java
谈谈分布式训练框架DeepSpeed与Megatron
【11月更文挑战第3天】随着深度学习技术的不断发展,大规模模型的训练需求日益增长。为了应对这种需求,分布式训练框架应运而生,其中DeepSpeed和Megatron是两个备受瞩目的框架。本文将深入探讨这两个框架的背景、业务场景、优缺点、主要功能及底层实现逻辑,并提供一个基于Java语言的简单demo例子,帮助读者更好地理解这些技术。
28 2
|
30天前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
40 2
|
30天前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
42 1
|
29天前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
126 6
|
29天前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
61 2
|
6天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
33 2
|
7天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
27 1
|
25天前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
47 1
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
71 5