hadoop的本地部署

简介: hadoop的本地部署

基础环境

1.一台电脑,电脑上有安装VMware Workstation

2.有centos7的镜像(任何版本都行)

3.远程连接软件

具体操作

1.创建用户

useradd hadoop-ch
passwd hadoop-ch

两次输入密码,回车。

1-1.设置sudo用户

vi /etc/sudoers

加入如下内容(最后):

hadoop-ch ALL=(ALL) ALL

保存,退出(wq!).

1-2.使用新创建的用户登陆linux

ssh hadoop-ch@ip地址

2.安装Apache-hadoop

2-1.创建下载目录

mkdir -p /home/hadoop-ch/downloads
cd /home/hadoop-ch/downloads

2-2.自己上传或下载hadoop的压缩包

我自己上传的是hadoop-3.3.2.tar.gz

2-3.解压缩包

tar -zxvf /home/hadoop-ch/downloads/hadoop-3.3.2.tar.gz -C /usr/local/
cd /usr/local
mv hadoop-3.3.2/  hadoop

3.安装jdk

3-1自己上传JDK的压缩包

我自己上传的是jdk-8u202-linux-x64.tar.gz

3-2.解压缩包

tar -zxvf /home/hadoop-ch/downloads/jdk-8u202-linux-x64.tar.gz -C /usr/local mv /usr/local/jdk1.8.0_202/ /usr/local/jdk

4.配置环境变量

4-1.查看Java的安装地址

which java

4-2.编写环境变量

vi /etc/profile
添加如下内容(在最后):
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin 
export HADOOP_HOME=/usr/local/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

5.检验软件是否安装成功

验证jdk是否安装成功

java -version 

验证hadoop是否安装成功

hadoop version

ade0fd15ad3542c7ae7cd6ca134c8722.jpg

感谢大家,点赞,收藏,关注,评论!

目录
相关文章
|
7月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
236 0
|
8月前
|
存储 分布式计算 Hadoop
基于docker的Hadoop环境搭建与应用实践(脚本部署)
本文介绍了Hadoop环境的搭建与应用实践。对Hadoop的概念和原理进行了简要说明,包括HDFS分布式文件系统和MapReduce计算模型等,主要通过脚本的方式进行快捷部署,在部署完成后对HDFS和mapreduce进行了测试,确保其功能正常。
|
11天前
|
分布式计算 Hadoop Java
|
11天前
|
分布式计算 Hadoop 网络安全
|
11天前
|
存储 分布式计算 Hadoop
|
1月前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
1月前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
115 0
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
|
1月前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
27 0
centos 部署Hadoop-3.0-高性能集群(二)
|
1月前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
51 0

相关实验场景

更多