hadoop的伪分布式搭建-带网盘

简介: hadoop的伪分布式搭建-带网盘

1、hadoop安装包与jdk还有虚拟机镜像的下载

链接:https://pan.baidu.com/s/1cq1GkZwawHMN9Fc_gGo68A 

提取码:6iai

虚拟机:

链接:https://pan.baidu.com/s/1_tRVWo0SHvHCKMPs9j2Zfw 

提取码:o30c

2、准备工作

(1)以上安装包

(2)一台能连接XShell或者WindTerm的虚拟机--可以看我的centos7的ip配置文档一般配置完成都能连接详细看:

(75条消息) Centos7.9的ip更改--详细版_centos7.9配置ip_Java小白中的菜鸟的博客-CSDN博客

3、JDK的配置

(1)查询是否安装Java软件:

rpm -qa | grep java

如果安装的版本低于1.7,卸载该JDK

sudo rpm -e 软件包

查看JDK安装路径:

which java

(2)将JDK导入到opt目录下面的software文件夹下面

(3)解压JDK到/opt/en目录下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/en/

(4)配置JDK环境变量

先获取JDK路径,在jdk文件包下输入以下命令

pwd

打开/etc/profile文件在profile文件末尾添加JDK路径

sudo vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq!

让修改后的文件生效

source /etc/profile

(5)测试JDK是否安装成功

java -version

4、Hadoop配置

(1)hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

(2)解压安装文件到/opt/en下面

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/en/

(3)配置hadoop文件路径

配置在配置文件中配置hadoop文件路径

vim /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/opt/en/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(4)让修改后的文件生效

source /etc/profile

(5)测试是否安装成功

hadoop version

(6)配置Hadoop的dfs环境

配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

配置hadoop-env.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置:core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
      <value>hdfs://hadoop:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/en/hadoop-2.7.2/data/tmp</value>
</property>

(7)配置Hadoop的yarn环境

配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop</value>
</property>

配置yarn-en.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置:mapred-en.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置: mapred-site.xml

配置前应该(对mapred-site.xml.template重新命名为) mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

(8)启动集群

格式化NameNode

bin/hdfs namenode -format

启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode

sbin/hadoop-daemon.sh start datanode

启动yarn前必须保证NameNode和DataNode已经启动

启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

sbin/yarn-daemon.sh start nodemanager

查看是否启动成功

5、浏览器页面查看

(1)web端查看HDFS文件系统

http://hadoop100:50070/dfshealth.html#tab-overview

 

(2)YARN的浏览器页面查看

http://192.168.147.188:8088/cluster

 

相关文章
|
6月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
143 0
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
418 0
|
分布式计算 Hadoop Java
hadoop伪分布式搭建(超详细)
hadoop伪分布式搭建(超详细)
713 0
|
6月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
121 0
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
181 2
|
6月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
73 2
|
5月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
220 0
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
6月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
71 0
|
11月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
40 0

相关实验场景

更多