hadoop伪分布式搭建(超详细)

简介: hadoop伪分布式搭建(超详细)

上一篇文章已经为大家介绍了如何在Linux系统上配置java环境,这为hadoop的集群搭建提供了基础条件,因为Hadoop是由Java编写的


如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527


接下来是hadoop伪分布搭建的要准备东西:

jdk1.8.0_221

hadoop-2.7.7

我都打包提供给大家了,下载地址:https://share.weiyun.com/dk7WgaVk

密码:553ubk


下面正式开始吧!


一.实现免密登陆


1. 创建ssh秘钥,输入如下命令,生成公私密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

image.png

2.将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出ssh-

ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh master
exit

image.png


二.Hadoop环境的安装与配置


1. 将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下,并将解压文件改名为hadoop

tar -zvxf /root/ruanjian/hadoop-2.7.7.tar.gz -C /opt
mv hadoop-2.7.7 hadoop

image.png


2.修改环境变量

vim /etc/profile

3.按键Shift+g键定位到最后一行,按键 i 切换到输入模式下,添加如下代码:

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image.png


4.按键ESC,按键:wq 保存并退出


5.生效刚刚的配置

source /etc/profile

image.png


6.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件,操作如下:

vi /opt/hadoop/etc/hadoop/hadoop-env.sh

image.png


7. 按键 :set nu 回车设置行号

image.png


8.按键25gg定位到25行,部分截图如下:

image.png


9.按键dd删除此行,部分截图如下:image.png


10.按键i,插入以下代码,注:根据自己的java路径而定

export JAVA_HOME=/opt/java

image.png


11.按键ESC 按键:wq 回车保存并退出


12.编辑/opt/hadoop/etc/hadoop/core-site.xml文件,部分截图如下:

vi /opt/hadoop/etc/hadoop/core-site.xml

image.png


13. 按键 :set nu 回车设置行号

image.png


14.按键19gg定位到19行,按键o添加如下代码,部分截图如下

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>

image.png


15.按键Esc,按键:wq保存退出


16.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

image.png


17. 按键 :set nu 回车设置行号image.png


18.按键20gg定位到20行,按键i添加如下代码

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

image.png

19.按键Esc,按键:wq保存退出


20.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

vi /opt/hadoop/etc/hadoop/mapred-site.xml

image.png


22.按键:set nu回车,设置行号

image.png


23.按键20gg定位到20行,按键i添加如下代码

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

image.png


24.按键Esc,按键:wq保存退出


25.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下:

vi /opt/hadoop/etc/hadoop/yarn-site.xml

image.png


26.按键:set nu回车,设置行号

image.png


27.按键18gg定位到18行,按键i添加如下代码,部分截图如下

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

image.png


28.按键Esc,按键:wq保存退出


29.编辑/opt/hadoop/etc/hadoop/slaves文件

vim /opt/hadoop/etc/hadoop/slaves

image.png


30.按键dd删除首行,按键i添加如下内容

master

image.png


31.按键Esc,按键:wq保存退出


32.切换到机器上,命令行中执行如下指令,格式化hdfs,部分截图如下

hdfs namenode -format

image.png

33.机器命令行中执行如下指令,启动集群,启动过程中出现“are you sure you want to continue connecting”,输入yes。

start-all.sh

image.png

34.机器命令行中执行如下指令,查看进程

jps

image.png

35.如上图所示,所有配置完成,进程启动完毕

目录
相关文章
|
5月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
127 0
|
11月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
360 0
|
5月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
100 0
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
102 2
|
4月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
181 0
|
5月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
49 2
|
12月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
5月前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
47 3
|
5月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
69 0
|
10月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
35 0

相关实验场景

更多