吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】(下)

简介: 吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】(下)

3.2 设置静态IP地址

-(1)修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2


  • (2)查看Linux虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8

95871169e3df53486fa7cedec7866884.png

image.png


  • (3)查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

image.png

  • (4)保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。


3.3 安装并配置JDK

  • 1)卸载现有JDK

注意:安装JDK前,一定确保提前删除了虚拟机自带的JDK。

  • 2)用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

image.png


  • 3)在Linux系统下的opt目录中查看软件包是否导入成功
[taoren@hadoop102 ~]$ ls /opt/software/


看到如下结果:

jdk-8u212-linux-x64.tar.gz
···
- 4)解压JDK到/opt/module目录下
```bash
[taoren@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/


  • 5)配置JDK环境变量
    (1)新建/etc/profile.d/my_env.sh文件
[taoren@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh


添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
(2)保存后退出


:wq

(3)source一下/etc/profile文件,让新的环境变量PATH生效

[taoren@hadoop102 ~]$ source /etc/profile


  • 6)测试JDK是否安装成功
[taoren@hadoop102 ~]$ java -version


如果能看到以下结果,则代表Java安装成功。

java version "1.8.0_212"

注意:重启(如果java -version可以用就不用重启)

[taoren@hadoop102 ~]$ sudo reboot


3.4 安装并配置Hadoop

Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1)用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

a83ce7f9dfa2735872afdc931f1418e7.png


2)进入到Hadoop安装包路径下

[taoren@hadoop102 ~]$ cd /opt/software/


3)解压安装文件到/opt/module下面

[taoren@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/


4)查看是否解压成功

[taoren@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3


5)将Hadoop添加到环境变量

(1)获取Hadoop安装路径
[taoren@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh文件


在my_env.sh文件末尾添加如下内容:(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


保存并退出: :wq

(3)让修改后的文件生效

[taoren@hadoop102 hadoop-3.1.3]$ source /etc/profile


6)测试是否安装成功

[taoren@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3


7)重启(如果Hadoop命令不能用再重启虚拟机)

[taoren@hadoop102 hadoop-3.1.3]$ sudo reboot


2.5 Hadoop目录结构

1)查看Hadoop目录结构

[taoren@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 bin
drwxr-xr-x. 3 taoren taoren  4096 5月  22 2017 etc
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 include
drwxr-xr-x. 3 taoren taoren  4096 5月  22 2017 lib
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 libexec
-rw-r--r--. 1 taoren taoren 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 taoren taoren   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 taoren taoren  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 sbin
drwxr-xr-x. 4 taoren taoren  4096 5月  22 2017 share


2)重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

相关文章
|
1月前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
54 3
|
18天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
24天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
|
24天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
24天前
|
存储 分布式计算 Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展(增强单节点资源)和水平扩展(增加节点数量)来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性,并根据需求调整以提升集群性能和效率。
22 1
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
54 9
|
29天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
35 4
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
37 2
|
1月前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
20 0
centos 部署Hadoop-3.0-高性能集群(二)