Ubuntu14.04下安装Hadoop2.5.1 (单机模式)-阿里云开发者社区

开发者社区> wuyudong> 正文

Ubuntu14.04下安装Hadoop2.5.1 (单机模式)

简介:
+关注继续查看

一.在Ubuntu下创建hadoop组和hadoop用户

1、创建hadoop用户组

sudo addgroup hadoop

2、创建hadoop用户

 sudo adduser -ingroup hadoop hadoop

回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。如果不输入密码,回车后会重新提示输入密码,即密码不能为空。最后确认信息是否正确,如果没问题,输入 Y,回车即可。

3、为hadoop用户添加权限

输入:

sudo gedit /etc/sudoers

回车,打开sudoers文件,给hadoop用户赋予和root用户同样的权限

二.用新增加的hadoop用户登录Ubuntu系统

三.安装ssh

sudo apt-get install openssh-server

安装完成后,启动服务

sudo /etc/init.d/ssh start

查看服务是否正确启动:

ps -e | grep ssh

设置免密码登录,生成私钥和公钥

ssh-keygen -t rsa -P ""

四、安装Java环境

参考《Ubuntu 14.04下安装JDK8》一文

五、安装hadoop2.5.1

 1、官网下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.1/

 2、安装

解压

sudo tar xzf hadoop-2.5.1.tar.gz    

假如我们要把hadoop安装到/usr/local下,文件夹为hadoop

sudo mv hadoop-2.5.1 /usr/local/hadoop

赋予用户对该文件夹的读写权限

sudo chmod 774 /usr/local/hadoop

3、配置

1)配置~/.bashrc      

配置该文件前需要知道Java的安装路径,用来设置JAVA_HOME环境变量,可以使用下面命令行查看安装路径

update-alternatives - -config java

 配置.bashrc文件

 sudo gedit ~/.bashrc

注意:输入这一条命令的时候,有可能出现以下提示:

Gtk-WARNING **: cannot open display: 

这时候只需要关掉终端,然后重启即可

该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/opt/jdk1.8.0_20/

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=PATH:

HADOOP_INSTALL/bin

export PATH=PATH:

HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

执行下面命,使添加的环境变量生效:

 source ~/.bashrc

2)编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

执行下面命令,打开该文件的编辑窗口

 sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量,修改此变量如下

export JAVA_HOME=/opt/jdk1.8.0_20    

修改后的hadoop-env.sh文件如下所示:

 

 显示hadoop的一些有用的文档:

bin/hadoop

例如,你可以使用下面的命令查看hadoop的版本信息:

hadoop version

六.WordCount测试

 单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功

 /usr/local/hadoop路径下创建input文件夹    

mkdir input

拷贝到input    

cp etc/hadoop/*.xml input

执行

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep input output 'dfs[a-z.]+'

 执行结果:

 查看output:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置
一、 下载资料 1. JDK 1.6 +  2. Scala 2.10.4 3. Hadoop 2.6.4  4. Spark 1.6    二、预先安装 1. 安装JDK 2. 安装Scala 2.
1226 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9719 0
CentOS7 搭建Ambari-Server,安装Hadoop集群(一)
2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵。 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术;给我的学习内容是通过Ambari安装Hadoop集群。
2340 0
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
因为学习,在网上找了很多hbase搭建的文章,感觉这篇很好,点此 搭建好后,jps查看了后台进程,发现在slave上面没有HRegionServer进程 便查看了 slave上关于HRegionServer的日志,发现报错 如下 然后网上查了一下,说是时间不同步的问题,自己使用date命令查看了一...
734 0
CentOS7安装Hadoop集群
http://www.jianshu.com/p/a69972d8a119 安装Hadoop之前,请先安装好zookeeper集群并启动 参考 CentOS7安装Zookeeper集群 我这里准备了三台服务器,一台主机名为hadoop1(做NameNo...
1137 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13441 0
[喵咪大数据]Hadoop单机模式
千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简单的使用接触Hadoop相关的机制.
68 0
hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装
一、hadoop2.6伪分布安装请参考:http://blog.csdn.net/gamer_gyt/article/details/46793731二、pig0.15安装 Pig的介绍         Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译 器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
963 0
+关注
wuyudong
我的个人博客地址:http://wuyudong.com/
203
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载