hadoop的伪分布式搭建-带网盘

简介: hadoop的伪分布式搭建-带网盘

1、hadoop安装包与jdk还有虚拟机镜像的下载

链接:https://pan.baidu.com/s/1cq1GkZwawHMN9Fc_gGo68A 

提取码:6iai

虚拟机:

链接:https://pan.baidu.com/s/1_tRVWo0SHvHCKMPs9j2Zfw 

提取码:o30c

2、准备工作

(1)以上安装包

(2)一台能连接XShell或者WindTerm的虚拟机--可以看我的centos7的ip配置文档一般配置完成都能连接详细看:

(75条消息) Centos7.9的ip更改--详细版_centos7.9配置ip_Java小白中的菜鸟的博客-CSDN博客

3、JDK的配置

(1)查询是否安装Java软件:

rpm -qa | grep java

如果安装的版本低于1.7,卸载该JDK

sudo rpm -e 软件包

查看JDK安装路径:

which java

(2)将JDK导入到opt目录下面的software文件夹下面

(3)解压JDK到/opt/en目录下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/en/

(4)配置JDK环境变量

先获取JDK路径,在jdk文件包下输入以下命令

pwd

打开/etc/profile文件在profile文件末尾添加JDK路径

sudo vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq!

让修改后的文件生效

source /etc/profile

(5)测试JDK是否安装成功

java -version

4、Hadoop配置

(1)hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

(2)解压安装文件到/opt/en下面

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/en/

(3)配置hadoop文件路径

配置在配置文件中配置hadoop文件路径

vim /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/opt/en/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(4)让修改后的文件生效

source /etc/profile

(5)测试是否安装成功

hadoop version

(6)配置Hadoop的dfs环境

配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

配置hadoop-env.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置:core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
      <value>hdfs://hadoop:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/en/hadoop-2.7.2/data/tmp</value>
</property>

(7)配置Hadoop的yarn环境

配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop</value>
</property>

配置yarn-en.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置:mapred-en.sh

export JAVA_HOME=/opt/en/jdk1.8.0_144

配置: mapred-site.xml

配置前应该(对mapred-site.xml.template重新命名为) mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

(8)启动集群

格式化NameNode

bin/hdfs namenode -format

启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode

sbin/hadoop-daemon.sh start datanode

启动yarn前必须保证NameNode和DataNode已经启动

启动ResourceManager

sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

sbin/yarn-daemon.sh start nodemanager

查看是否启动成功

5、浏览器页面查看

(1)web端查看HDFS文件系统

http://hadoop100:50070/dfshealth.html#tab-overview

 

(2)YARN的浏览器页面查看

http://192.168.147.188:8088/cluster

 

相关文章
|
7天前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
83 0
|
6月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
205 0
|
7天前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
64 0
|
7月前
|
分布式计算 Hadoop Java
hadoop伪分布式搭建(超详细)
hadoop伪分布式搭建(超详细)
346 0
|
7天前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
10 2
|
7月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
7天前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
49 0
|
5月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
28 0
|
9月前
|
分布式计算 Ubuntu Hadoop
基于Linux的Hadoop伪分布式安装
基于Linux的Hadoop伪分布式安装
130 0
|
7天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
102 2

相关实验场景

更多