hadoop的本地部署

简介: hadoop的本地部署

基础环境

1.一台电脑,电脑上有安装VMware Workstation

2.有centos7的镜像(任何版本都行)

3.远程连接软件

具体操作

1.创建用户

useradd hadoop-ch
passwd hadoop-ch

两次输入密码,回车。

1-1.设置sudo用户

vi /etc/sudoers

加入如下内容(最后):

hadoop-ch ALL=(ALL) ALL

保存,退出(wq!).

1-2.使用新创建的用户登陆linux

ssh hadoop-ch@ip地址

2.安装Apache-hadoop

2-1.创建下载目录

mkdir -p /home/hadoop-ch/downloads
cd /home/hadoop-ch/downloads

2-2.自己上传或下载hadoop的压缩包

我自己上传的是hadoop-3.3.2.tar.gz

2-3.解压缩包

tar -zxvf /home/hadoop-ch/downloads/hadoop-3.3.2.tar.gz -C /usr/local/
cd /usr/local
mv hadoop-3.3.2/  hadoop

3.安装jdk

3-1自己上传JDK的压缩包

我自己上传的是jdk-8u202-linux-x64.tar.gz

3-2.解压缩包

tar -zxvf /home/hadoop-ch/downloads/jdk-8u202-linux-x64.tar.gz -C /usr/local mv /usr/local/jdk1.8.0_202/ /usr/local/jdk

4.配置环境变量

4-1.查看Java的安装地址

which java

4-2.编写环境变量

vi /etc/profile
添加如下内容(在最后):
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin 
export HADOOP_HOME=/usr/local/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

5.检验软件是否安装成功

验证jdk是否安装成功

java -version 

验证hadoop是否安装成功

hadoop version

ade0fd15ad3542c7ae7cd6ca134c8722.jpg

感谢大家,点赞,收藏,关注,评论!

目录
相关文章
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
64 4
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
82 2
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(二)
|
4月前
|
分布式计算 Ubuntu Hadoop
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
Hadoop入门基础(二):Hadoop集群安装与部署详解(超详细教程)(一)
|
4月前
|
SQL 分布式计算 Hadoop
centos7通过CDH部署Hadoop
centos7通过CDH部署Hadoop
|
4月前
|
分布式计算 Java Linux
centos7通过Ambari2.74部署Hadoop
centos7通过Ambari2.74部署Hadoop
|
4月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
168 0
|
6月前
|
分布式计算 Hadoop 网络安全
|
6月前
|
存储 分布式计算 Hadoop