上一篇文章已经为大家介绍了如何在Linux系统上配置java环境,这为hadoop的集群搭建提供了基础条件,因为Hadoop是由Java编写的
如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527
接下来是hadoop伪分布搭建的要准备东西:
jdk1.8.0_221
hadoop-2.7.7
我都打包提供给大家了,下载地址:https://share.weiyun.com/dk7WgaVk
密码:553ubk
下面正式开始吧!
一.实现免密登陆
1. 创建ssh秘钥,输入如下命令,生成公私密钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2.将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出ssh-
ssh-copy-id -i /root/.ssh/id_dsa.pub master ssh master exit
二.Hadoop环境的安装与配置
1. 将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下,并将解压文件改名为hadoop
tar -zvxf /root/ruanjian/hadoop-2.7.7.tar.gz -C /opt mv hadoop-2.7.7 hadoop
2.修改环境变量
vim /etc/profile
3.按键Shift+g键定位到最后一行,按键 i 切换到输入模式下,添加如下代码:
export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.按键ESC,按键:wq 保存并退出
5.生效刚刚的配置
source /etc/profile
6.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件,操作如下:
vi /opt/hadoop/etc/hadoop/hadoop-env.sh
7. 按键 :set nu 回车设置行号
8.按键25gg定位到25行,部分截图如下:
9.按键dd删除此行,部分截图如下:
10.按键i,插入以下代码,注:根据自己的java路径而定
export JAVA_HOME=/opt/java
11.按键ESC 按键:wq 回车保存并退出
12.编辑/opt/hadoop/etc/hadoop/core-site.xml文件,部分截图如下:
vi /opt/hadoop/etc/hadoop/core-site.xml
13. 按键 :set nu 回车设置行号
14.按键19gg定位到19行,按键o添加如下代码,部分截图如下
<property> <name>fs.defaultFS</name> <value>hdfs://master</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property>
15.按键Esc,按键:wq保存退出
16.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
vi /opt/hadoop/etc/hadoop/hdfs-site.xml
17. 按键 :set nu 回车设置行号
18.按键20gg定位到20行,按键i添加如下代码
<property> <name>dfs.replication</name> <value>3</value> </property>
19.按键Esc,按键:wq保存退出
20.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
vi /opt/hadoop/etc/hadoop/mapred-site.xml
22.按键:set nu回车,设置行号
23.按键20gg定位到20行,按键i添加如下代码
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
24.按键Esc,按键:wq保存退出
25.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下:
vi /opt/hadoop/etc/hadoop/yarn-site.xml
26.按键:set nu回车,设置行号
27.按键18gg定位到18行,按键i添加如下代码,部分截图如下
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
28.按键Esc,按键:wq保存退出
29.编辑/opt/hadoop/etc/hadoop/slaves文件
vim /opt/hadoop/etc/hadoop/slaves
30.按键dd删除首行,按键i添加如下内容
master
31.按键Esc,按键:wq保存退出
32.切换到机器上,命令行中执行如下指令,格式化hdfs,部分截图如下
hdfs namenode -format
33.机器命令行中执行如下指令,启动集群,启动过程中出现“are you sure you want to continue connecting”,输入yes。
start-all.sh
34.机器命令行中执行如下指令,查看进程
jps
35.如上图所示,所有配置完成,进程启动完毕