Hadoop大象之旅006-安装Hadoop环境

简介: Hadoop大象之旅006-安装Hadoop环境                                                               老帅    我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45,并也准备好了连接CentOS的工具软件SecureCrSecureFx。

Hadoop大象之旅006-安装Hadoop环境

                                                               老帅

    我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45并也准备好了连接CentOS的工具软件SecureCrSecureFx

    万事具备,应该安装Hadoop了,但是Hadoop有很多版本,我们怎么选择呢?

 

    从这里我们可以看出,hadoop-1.1.X hbase0.94 hbase0.96是支持的,所以,我们这里选择 hadoop1.1.X 的目前最高版本(2014-4-10),也就是hadoop-1.1.2.tar.gz,这个文件可以在下面我提供的地址下载到:

    官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/

 

1.Hadoop文件上传到CentOS

参照前面章节中所述方法,使用SecureFXPortable.exeCentOS中建立/usr/local文件夹,将hadoop-1.1.2.tar.gz上传到/usr/local


2.安装Hadoop

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS进入到/usr/local目录下。


使用命令tar  -xzvf  hadoop-1.1.2.tar.gz解压hadoop-1.1.2.tar.gz


解压缩完成后,我们使用命令ls查看到新产生的目录hadoop-1.1.2


使用命令mv  hadoop-1.1.2  hadoop重命名文件夹名,目的是方便以后引用


3.配置Hadoop环境变量

接下来把Hadoop配置到环境变量中。

使用命令vi/etc/profile编辑配置文件


使用快捷键i进入文件编辑模式,文件最后增加以下内容。

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH


使用快捷键esc退出文件编辑模式,使用“Shift”和“:”组合键进入命令模式,输入命令“wq”保存并退出。

这里解释一下:“export”是关键字,用于设置环境变量。我们设置了两个环境变量,一个是 HADOOP_HOME

一个是 PATH。对于环境变量的引用,使用“$”,多个环境变量之间的连接,使用“:”。

使用命令source  /etc/profile使上面的配置立即生效

使用命令hadoop version检测hadoop是否配置成功! 看到如下提示,恭喜,配置成功了~!~


相关文章
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
72 0
|
2天前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
15 4
|
15天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
16 0
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
73 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
3月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
420 0
|
3月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
68 0
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
45 0
|
4月前
|
分布式计算 Hadoop Java
hadoop系列——linux hadoop安装
hadoop系列——linux hadoop安装
76 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
87 0
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
35 0

相关实验场景

更多