吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】(下)

简介: 吐血整理的Hadoop最全开发指南【Hadoop集群搭建篇】(下)

3.2 设置静态IP地址

-(1)修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2


  • (2)查看Linux虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8

95871169e3df53486fa7cedec7866884.png

image.png


  • (3)查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

image.png

  • (4)保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。


3.3 安装并配置JDK

  • 1)卸载现有JDK

注意:安装JDK前,一定确保提前删除了虚拟机自带的JDK。

  • 2)用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

image.png


  • 3)在Linux系统下的opt目录中查看软件包是否导入成功
[taoren@hadoop102 ~]$ ls /opt/software/


看到如下结果:

jdk-8u212-linux-x64.tar.gz
···
- 4)解压JDK到/opt/module目录下
```bash
[taoren@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/


  • 5)配置JDK环境变量
    (1)新建/etc/profile.d/my_env.sh文件
[taoren@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh


添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
(2)保存后退出


:wq

(3)source一下/etc/profile文件,让新的环境变量PATH生效

[taoren@hadoop102 ~]$ source /etc/profile


  • 6)测试JDK是否安装成功
[taoren@hadoop102 ~]$ java -version


如果能看到以下结果,则代表Java安装成功。

java version "1.8.0_212"

注意:重启(如果java -version可以用就不用重启)

[taoren@hadoop102 ~]$ sudo reboot


3.4 安装并配置Hadoop

Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1)用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

a83ce7f9dfa2735872afdc931f1418e7.png


2)进入到Hadoop安装包路径下

[taoren@hadoop102 ~]$ cd /opt/software/


3)解压安装文件到/opt/module下面

[taoren@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/


4)查看是否解压成功

[taoren@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3


5)将Hadoop添加到环境变量

(1)获取Hadoop安装路径
[taoren@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh文件


在my_env.sh文件末尾添加如下内容:(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


保存并退出: :wq

(3)让修改后的文件生效

[taoren@hadoop102 hadoop-3.1.3]$ source /etc/profile


6)测试是否安装成功

[taoren@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3


7)重启(如果Hadoop命令不能用再重启虚拟机)

[taoren@hadoop102 hadoop-3.1.3]$ sudo reboot


2.5 Hadoop目录结构

1)查看Hadoop目录结构

[taoren@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 bin
drwxr-xr-x. 3 taoren taoren  4096 5月  22 2017 etc
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 include
drwxr-xr-x. 3 taoren taoren  4096 5月  22 2017 lib
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 libexec
-rw-r--r--. 1 taoren taoren 15429 5月  22 2017 LICENSE.txt
-rw-r--r--. 1 taoren taoren   101 5月  22 2017 NOTICE.txt
-rw-r--r--. 1 taoren taoren  1366 5月  22 2017 README.txt
drwxr-xr-x. 2 taoren taoren  4096 5月  22 2017 sbin
drwxr-xr-x. 4 taoren taoren  4096 5月  22 2017 share


2)重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
188 6
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
80 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
39 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
61 3
|
2月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
53 3
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
85 3
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
113 3
|
2月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
49 3
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
53 2
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
64 2