hadoop2.9安装指南

简介: 1、到hadoop官网下载最新的二进制版本。 2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9,你也可以用别的linux,譬如ubuntu。

1、到hadoop官网下载最新的二进制版本。
2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9,你也可以用别的linux,譬如ubuntu。
解压缩命令: tar -zxvf hadoop-2.9.0.tar.gz
文件夹重命名:mv hadoop-2.9.0 hadoop
配置环境变量:vim /etc/profile

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
alias cdha='cd /home/hadoop'
export HADOOP_HOME=/home/hadoop

让更改生效:
source /etc/profile
这里我们设置了一个别名 cdha,可以快速转到hadoop 的目录。
(注意你需要事先已经安装好了java8哦!)
3、 修改hadoop配置文件
需要修改的配置文件都位于$HADOOP_HOME/etc/hadoop目录下。
1) vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

注意这里一定要是java的绝对路径,不可以用$JAVA_HOME代替。
2)vim core-site.xml
这里写图片描述
3)vim hdfs-site.xml
这里写图片描述
4、配置文件修改说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
5、配置完成后,执行以下语句格式化NameNode:
./bin/hdfs namenode –format
成功会看到如下提示:
这里写图片描述
6、接着执行以下命令开启 NameNode 和 DataNode 守护进程:
./sbin/start-dfs.sh
若ssh提示连接,输入yes即可
启动完成后,输入命令jps来判断是否启动成功.
若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
若有如下页面,恭喜安装成功 !
这里写图片描述

目录
相关文章
|
6月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
308 0
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
66 3
|
3月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
3月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
35 1
|
4月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
71 2
|
6月前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
1534 3
|
6月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
80 2
|
5月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
225 0
|
6月前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
66 0
安装hadoop学习笔记
|
6月前
|
分布式计算 Hadoop Java
hadoop的基础设施-protobuf-2.5.0编译和安装
hadoop的基础设施-protobuf-2.5.0编译和安装
53 0