Hadoop大象之旅006-安装Hadoop环境

简介: Hadoop大象之旅006-安装Hadoop环境                                                               老帅    我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45,并也准备好了连接CentOS的工具软件SecureCrSecureFx。

Hadoop大象之旅006-安装Hadoop环境

                                                               老帅

    我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45并也准备好了连接CentOS的工具软件SecureCrSecureFx

    万事具备,应该安装Hadoop了,但是Hadoop有很多版本,我们怎么选择呢?

 

    从这里我们可以看出,hadoop-1.1.X hbase0.94 hbase0.96是支持的,所以,我们这里选择 hadoop1.1.X 的目前最高版本(2014-4-10),也就是hadoop-1.1.2.tar.gz,这个文件可以在下面我提供的地址下载到:

    官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/

 

1.Hadoop文件上传到CentOS

参照前面章节中所述方法,使用SecureFXPortable.exeCentOS中建立/usr/local文件夹,将hadoop-1.1.2.tar.gz上传到/usr/local


2.安装Hadoop

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS进入到/usr/local目录下。


使用命令tar  -xzvf  hadoop-1.1.2.tar.gz解压hadoop-1.1.2.tar.gz


解压缩完成后,我们使用命令ls查看到新产生的目录hadoop-1.1.2


使用命令mv  hadoop-1.1.2  hadoop重命名文件夹名,目的是方便以后引用


3.配置Hadoop环境变量

接下来把Hadoop配置到环境变量中。

使用命令vi/etc/profile编辑配置文件


使用快捷键i进入文件编辑模式,文件最后增加以下内容。

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH


使用快捷键esc退出文件编辑模式,使用“Shift”和“:”组合键进入命令模式,输入命令“wq”保存并退出。

这里解释一下:“export”是关键字,用于设置环境变量。我们设置了两个环境变量,一个是 HADOOP_HOME

一个是 PATH。对于环境变量的引用,使用“$”,多个环境变量之间的连接,使用“:”。

使用命令source  /etc/profile使上面的配置立即生效

使用命令hadoop version检测hadoop是否配置成功! 看到如下提示,恭喜,配置成功了~!~


相关文章
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
55 1
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
60 3
|
1月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
47 0
|
3月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
3月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
35 1
|
3月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
115 0
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
70 2
|
6月前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
1484 3
|
6月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
76 2
|
5月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
220 0

相关实验场景

更多