hadoop伪分布式搭建(超详细)

简介: hadoop伪分布式搭建(超详细)

上一篇文章已经为大家介绍了如何在Linux系统上配置java环境,这为hadoop的集群搭建提供了基础条件,因为Hadoop是由Java编写的


如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527


接下来是hadoop伪分布搭建的要准备东西:

jdk1.8.0_221

hadoop-2.7.7

我都打包提供给大家了,下载地址:https://share.weiyun.com/dk7WgaVk

密码:553ubk


下面正式开始吧!


一.实现免密登陆


1. 创建ssh秘钥,输入如下命令,生成公私密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

image.png

2.将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出ssh-

ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh master
exit

image.png


二.Hadoop环境的安装与配置


1. 将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下,并将解压文件改名为hadoop

tar -zvxf /root/ruanjian/hadoop-2.7.7.tar.gz -C /opt
mv hadoop-2.7.7 hadoop

image.png


2.修改环境变量

vim /etc/profile

3.按键Shift+g键定位到最后一行,按键 i 切换到输入模式下,添加如下代码:

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image.png


4.按键ESC,按键:wq 保存并退出


5.生效刚刚的配置

source /etc/profile

image.png


6.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件,操作如下:

vi /opt/hadoop/etc/hadoop/hadoop-env.sh

image.png


7. 按键 :set nu 回车设置行号

image.png


8.按键25gg定位到25行,部分截图如下:

image.png


9.按键dd删除此行,部分截图如下:image.png


10.按键i,插入以下代码,注:根据自己的java路径而定

export JAVA_HOME=/opt/java

image.png


11.按键ESC 按键:wq 回车保存并退出


12.编辑/opt/hadoop/etc/hadoop/core-site.xml文件,部分截图如下:

vi /opt/hadoop/etc/hadoop/core-site.xml

image.png


13. 按键 :set nu 回车设置行号

image.png


14.按键19gg定位到19行,按键o添加如下代码,部分截图如下

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>

image.png


15.按键Esc,按键:wq保存退出


16.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下

vi /opt/hadoop/etc/hadoop/hdfs-site.xml

image.png


17. 按键 :set nu 回车设置行号image.png


18.按键20gg定位到20行,按键i添加如下代码

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

image.png

19.按键Esc,按键:wq保存退出


20.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

vi /opt/hadoop/etc/hadoop/mapred-site.xml

image.png


22.按键:set nu回车,设置行号

image.png


23.按键20gg定位到20行,按键i添加如下代码

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

image.png


24.按键Esc,按键:wq保存退出


25.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下:

vi /opt/hadoop/etc/hadoop/yarn-site.xml

image.png


26.按键:set nu回车,设置行号

image.png


27.按键18gg定位到18行,按键i添加如下代码,部分截图如下

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

image.png


28.按键Esc,按键:wq保存退出


29.编辑/opt/hadoop/etc/hadoop/slaves文件

vim /opt/hadoop/etc/hadoop/slaves

image.png


30.按键dd删除首行,按键i添加如下内容

master

image.png


31.按键Esc,按键:wq保存退出


32.切换到机器上,命令行中执行如下指令,格式化hdfs,部分截图如下

hdfs namenode -format

image.png

33.机器命令行中执行如下指令,启动集群,启动过程中出现“are you sure you want to continue connecting”,输入yes。

start-all.sh

image.png

34.机器命令行中执行如下指令,查看进程

jps

image.png

35.如上图所示,所有配置完成,进程启动完毕

目录
相关文章
|
2月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
65 0
|
5月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
165 0
|
4月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
56 0
|
12天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
18 3
|
6月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
46 0
|
4月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
27 0
|
8月前
|
分布式计算 Ubuntu Hadoop
基于Linux的Hadoop伪分布式安装
基于Linux的Hadoop伪分布式安装
127 0
|
9月前
|
分布式计算 Hadoop Linux
Centos7 Hadoop伪分布模式安装
Centos7 Hadoop伪分布模式安装
117 0
|
9月前
|
分布式计算 资源调度 Hadoop
Hadoop单机伪分布式部署
Hadoop单机伪分布式部署

相关实验场景

更多