Centos下搭建Hadoop伪分布式(一)

简介: Centos下搭建Hadoop伪分布式

什么是Hadoop?


Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算


hadoop官网


http://hadoop.apache.org/

1.png


解下来我们需要一台服务器,以及相关服务器配置


软硬件环境


 CentOS 7.2 64 位 
 OpenJDK- 1.8 
 Hadoop- 2.7


安装 SSH 客户端


安装SSH


sudo yum -y install openssh-clients openssh-server

安装完成后,可以使用下面命令进行测试:

ssh somnus-hadoop

这里为了好区分机器,这里对主机名做了下改名

1.png

这里使用的root账号登陆的,通过ssh 命令测试,这里需要输入密码,默认就是root账号的密码,出现上面截图,那就说名安装ssh没问题,开始我们下一步。


jdk安装


sudo yum  -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel

1.png

jdk安装很简单,通过命令直接安装openjdk或者看我以前快速部署脚本博客,通过脚本快速部署。

安装jdk,还需要配置 JAVA 环境变量


执行命令:


编辑 ~/.bashrc,在结尾追加:


export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

保存文件后执行下面命令使 JAVA_HOME 环境变量生效:

source ~/.bashrc

为了检测系统中 JAVA 环境是否已经正确配置并生效,可以分别执行下面命令:

java -version
$JAVA_HOME/bin/java -version

若两条命令输出结果一致,且都为我们前面安装的 openjdk-1.8.0 的版本,则表明 JDK 环境已经正确安装并配置。

1.png


安装hadoop

这里我们通过wget来下载 hadoop-2.7 版本,我们可以根据自己的网络选择适合自己的下载地址
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

这里可以通过官网查看版本,或者选择适合自己的去下载,这个下载过程可能会相对慢一点,现在官网已经出了3的版本了

1.png

1.png

接下来,解压下载好的hadoop-2.7.4.tar.gz

将 Hadoop 安装到 /usr/local 目录下:

 tar -zxf hadoop-2.7.4.tar.gz -C /usr/local

对安装的目录进行重命名,便于后续操作方便:

cd /usr/local
mv ./hadoop-2.7.4/ ./hadoop

1.png

检查Hadoop是否已经正确安装:

/usr/local/hadoop/bin/hadoop version

1.png

如果成功输出hadoop的版本信息,表明hadoop安装成功。


Hadoop 伪分布式环境配置


Hadoop伪分布式模式使用多个守护线程模拟分布的伪分布运行模式。


设置 Hadoop 的环境变量

编辑 ~/.bashrc,在结尾追加如下内容:

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使Hadoop环境变量配置生效:

source ~/.bashrc


相关文章
|
26天前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
28 0
|
4月前
|
SQL 分布式计算 Hadoop
大数据行业部署实战1:Hadoop伪分布式部署
大数据行业部署实战1:Hadoop伪分布式部署
96 0
|
3月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
42 0
|
5月前
|
分布式计算 Hadoop Java
hadoop伪分布式搭建(超详细)
hadoop伪分布式搭建(超详细)
140 0
|
3月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
25 0
|
3月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
59 0
|
3月前
|
分布式计算 资源调度 Hadoop
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
centos7 伪分布式 hadoop 利用 python 执行 mapreduce
23 0
|
5月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
7月前
|
分布式计算 Ubuntu Hadoop
基于Linux的Hadoop伪分布式安装
基于Linux的Hadoop伪分布式安装
105 0
|
7月前
|
分布式计算 Hadoop Linux
五十七、centos创建hadoop用户(修改hadoop用户密码,目录赋予hadoop用户权限等......)
五十七、centos创建hadoop用户(修改hadoop用户密码,目录赋予hadoop用户权限等......)
238 0