Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录

简介: 为什么只在hadoop102上安装hadoop,因为在hadoop102中安装后将hadoop拷贝到hadoop103和hadoop104中、解压hadoop到/opt/module目录下、配置好后需要source一下,重新加载一下内容、在Linux系统下的opt目录中查看软件包是否导入成功、用Xftp传输工具将hadoop导入到opt目录下面的software文件夹下面、系统启动的时候就会加载/etc/profile.d这里面的文件(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapr

2.Hadoop运行环境搭建(开发重点)

2.4在hadoop102安装Hadoop

2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面

在这里插入图片描述
点这个

在这里插入图片描述
将这两个包拖到/opt/software文件下

下面是这个包
链接:https://pan.baidu.com/s/1LO-jFODTQOlOF2gPvey4bg?pwd=fe5h
提取码:fe5h

2.4.2在Linux系统下的opt目录中查看软件包是否导入成功

在这里插入图片描述

然后再software下可以看到有这两个包了

2.4.3解压Hadoop到/opt/module目录下

  • [summer@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

在这里插入图片描述

在这里插入图片描述

2.4.4配置Hadoop环境变量

先进入安装的Hadoop中
在这里插入图片描述
在这里插入图片描述

将目录复制下来后面会用,以防手打出错
/opt/module/hadoop-3.1.3

本来是在/etc/profile里配置的,后来发现这条语句
在这里插入图片描述

是profile.d的所有.sh后缀的文件全局生效,因此在profile.d下新建一个文件来配置Hadoop
先到这个文件下

  • [summer@hadoop102 hadoop-3.1.3]$ cd /etc/profile.d

在这里插入图片描述

系统启动的时候就会加载这里面的文件
新建一个文件,名字自己取

  • [summer@hadoop102 profile.d]$ sudo vim my_env_hadoop-3.1.3.sh

在这里插入图片描述

在这里插入图片描述

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.4.5测试Hadoop是否安装成功

在这里插入图片描述

配置好后需要source一下,重新加载一下内容

  • [summer@hadoop102 profile.d]$ source /etc/profile

在这里插入图片描述

2.4.6重启(如果Hadoop命令不能用再重启虚拟机)

  • [summer@hadoop102 profile.d]$ sudo reboot

2.5Hadoop目录结构

2.5.1查看Hadoop目录结构

在这里插入图片描述

2.5.2hadoop重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

bin、etc、sbin是经常使用的

目录
相关文章
|
7月前
|
资源调度
Hadoop3的安装
Hadoop3的安装
|
分布式计算 Hadoop Java
hadoop的本地部署
hadoop的本地部署
96 0
|
SQL 分布式计算 Hadoop
hadoop环境遇到的问题 一
hadoop环境遇到的问题 一
115 0
|
分布式计算 Hadoop C++
hadoop环境遇到的问题 二
hadoop环境遇到的问题 二
136 0
|
分布式计算 资源调度 Hadoop
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
|
分布式计算 Hadoop 网络安全
hadoop1.2.1的安装
前提:1.机器最好都做ssh免密登录,最后在启动hadoop的时候会简单很多 免密登录看免密登录   2.集群中的虚拟机最好都关闭防火墙,否则很麻烦   3集群中的虚拟机中必须安装jdk.   具体安装步骤如下: 1.
872 0
hadoop3.x的安装
请看https://www.cnblogs.com/garfieldcgf/p/8119506.html
851 0
|
SQL 分布式计算 HIVE
|
分布式计算 资源调度 Java
|
分布式计算 Hadoop 网络安全