杨校老师课堂之Hadoop环境搭建(一)

简介: 杨校老师课堂之Hadoop环境搭建(一)

一、搭建Java开发环境

1. 先查看安装后的镜像中是否存在Java
[root@hadoop1 java]# java -version

openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

2. 通过查看,发现原有系统默认安装了open Jdk ,接下来我们卸载原有的Open JDK,安装Oracle JDK
  • 2.1 查看java安装软件
[root@hadoop1 java]# rpm -qa|grep java

python-javapackages-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
tzdata-java-2018e-3.el7.noarch
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch

  • 2.2 分别卸载java软件,程序命令:rpm ;卸载参数:e; 解除软件间的依赖:nodeps
[root@hadoop1 java]# rpm -e --nodeps java-1.8.0-openjdk
[root@hadoop1 java]# rpm -e --nodeps javapackages-tools 
[root@hadoop1 java]# rpm -e --nodeps java-1.8.0-openjdk-headless 
[root@hadoop1 java]# rpm -e --nodeps tzdata-java

  • 2.3 上传 Oracle JDK

注意:

如果拖拽不可以完成上传功能,可能是缺少上传的插件,执行下方命令在线安装即可。

yum -y install lrzsz # 上传的插件

  • 2.4 上传完成后,查询文件是否存在,及所在位置命令
[root@hadoop1 java]# ll
总用量 141540
-rw-r--r--. 1 root root 144935989 6月  15 2021 jdk-8u291-linux-x64.tar.gz
[root@hadoop1 java]# pwd
/usr/local/java

3. 解压jdk目录
[root@hadoop1 java]# tar -zxvf jdk-8u291-linux-x64.tar.gz  
# 解压后查看
[root@hadoop1 java]# ll
总用量 141540
drwxr-xr-x. 8 10143 10143       273 4月   8 2021 jdk1.8.0_291
-rw-r--r--. 1 root  root  144935989 6月  15 2021 jdk-8u291-linux-x64.tar.gz

4. 配置java的环境变量
  • 4.1 采用vim命令编辑/etc/profile文件,在文件末尾加上环境变量参数
# Java Environement Variable
export JAVA_HOME=/usr/local/java/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 4.2 更新环境变量的配置文件/etc/profile,才可以使得上述配置生效:
[root@hadoop1 jdk1.8.0_291]# source /etc/profile
5. 检验Java是否配置成功
[root@hadoop1 jdk1.8.0_291]# java -version

java version "1.8.0_291"
Java(TM) SE Runtime Environment (build 1.8.0_291-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.291-b10, mixed mode)

二、 搭建Hadoop环境

1.hadoop下载

点我去下载,或访问:http://archive.apache.org/dist/hadoop/common/

提示: 我这使用的是2.7.4,利用IDM软件进行下载,速度会有所提升!


  1. Hadoop安装与配置
  • 2.1 上传Hadoop安装包
[root@hadoop1 hadoop]# ll
总用量 260440
-rw-r--r--. 1 root root 266688029 3月  23 11:57 hadoop-2.7.4.tar.gz

[root@hadoop1 hadoop]# pwd
/usr/local/hadoop

  • 2.2 解压Hadoop安装包
[root@hadoop1 hadoop]# tar -zxvf hadoop-2.7.4.tar.gz 

[root@hadoop1 hadoop]# ll
总用量 260440
drwxr-xr-x. 10 20415  101       160 8月   1 2017 hadoop-2.7.4
-rw-r--r--.  1 root  root 266688029 3月  23 11:57 hadoop-2.7.4.tar.gz
3. 配置hadoop的环境变量
  • 3.1 采用vim命令编辑/etc/profile文件,在文件末尾加上环境变量参数
# Hadoop Environment Variable
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 3.2 更新环境变量的配置文件/etc/profile,才可以使得上述配置生效:
[root@hadoop1 hadoop]# source /etc/profile
4. 检验Hadoop是否配置成功
# 需要注意:  version前面没有横杠哦! “-”
[root@hadoop1 hadoop]# hadoop version

Hadoop 2.7.4
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r cd915e1e8d9d0131462a0b7301586c175728a282
Compiled by kshvachk on 2017-08-01T00:29Z
Compiled with protoc 2.5.0
From source with checksum 50b0468318b4ce9bd24dc467b7ce1148
This command was run using /usr/local/hadoop/hadoop-2.7.4/share/hadoop/common/hadoop-common-2.7.4.jar

分享是快乐的,也见证了个人成长历程,文章大多都是工作经验总结以及平时学习积累,基于自身认知不足之处在所难免,也请大家指正,共同进步。

目录
相关文章
|
存储 分布式计算 Hadoop
基于docker的Hadoop环境搭建与应用实践(脚本部署)
本文介绍了Hadoop环境的搭建与应用实践。对Hadoop的概念和原理进行了简要说明,包括HDFS分布式文件系统和MapReduce计算模型等,主要通过脚本的方式进行快捷部署,在部署完成后对HDFS和mapreduce进行了测试,确保其功能正常。
|
7月前
|
分布式计算 Hadoop 测试技术
Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
【4月更文挑战第1天】Hadoop【环境搭建 05】【hadoop-3.1.3 单机版基准测试 TestDFSIO + mrbench + nnbench + Terasort + sort 举例】
193 3
|
7月前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
198 3
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
87 4
|
6月前
|
分布式计算 数据可视化 Hadoop
杨校老师课堂之Hadoop环境搭建(二)
杨校老师课堂之Hadoop环境搭建(二)
31 0
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
143 2
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
94 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
133 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop环境搭建
Hadoop环境搭建
102 1
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
115 0