开发者社区> wuyudong> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

安装并运行hadoop

简介:
+关注继续查看

1.运行环境搭建

参见《Ubuntu 14.04下安装JDK8》 《Ubuntu14.04下安装Hadoop2.5.1 (单机模式)

使用命令

sudo apt-get install subversion ssh ant

这个命令,把SSH、Ant和SVN安装

2.下载源代码

这是个开源的系统,代码很方便用SVN就可以下载到,版本也很多,在这里选择0.20.2版本,代码量少、简单

运行这个命令来下载:

svn co http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.2/

下载完成后,会在当前文件夹内产生一个新文件夹release-0.20.2,这里面就是代码了。

为了后面方便操作,把这文件夹重命令一下:

mv release-0.20.2/ hadoop-0.20.2

 打开hadoop-0.20.2文件夹:

刚下完的代码是无法直接运行的,编译前先修改一下build.xml,打开,将里面的版本号改成:0.20.2,如下:

用ant编译用的配置文件,所以直接在命令行里输入:

~/hadoop-0.20.2$ ant
~/hadoop-0.20.2$ ant jar
~/hadoop-0.20.2$ ant examples

3.配置SSH 

参考《Ubuntu14.04下安装Hadoop2.5.1 (单机模式)

4.修改配置文件

伪分布式的配置过程也很简单,只需要修改几个文件,在代码的conf文件夹内,就可以找到下面几个配置文件,分别配置成以下内容:

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wu/hadoop-0.20.2/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

进入conf文件夹,修改配置文件:hadoop-env.sh,将里面的JAVA_HOME注释打开,并把里面的地址配置正确:

5.运行hadoop

进入hadoop目录: $cd Hadoop-0.20.2

首次运行,需要格式化文件系统,输入命令:

bin/hadoop namenode -format    

输入命令,启动所有进出:

bin/start-all.sh

关闭hadoop可以用:

bin/stop-all.sh

最后验证hadoop是否安装成功,打开浏览器,分别输入:

http://localhost:50030/ (MapReduce的web页面)

http://localhost:50070/ (HDFS的web页面)

如果都能查看,说明hadoop安装成功,如下图所示:

用jps命令看一下有几个java进程在运行,如果是下面几个就正常了:

系统启动正常后,现在来跑个程序:

$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.2-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*

出现一长串的运行:

出现最后几行,说明运行成功:

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Windows运行Hadoop时报错:Could not locate executablenull\bin\winutils.exe in the Hadoo
Windows运行Hadoop时报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries 从标题报错中就可以看到,不能定位到winutils.exe,在hadoop中
0 0
hadoop第一个运行实例wordcount
hadoop第一个运行实例wordcount
0 0
运行Hadoop自带的单词统计程序
运行Hadoop自带的单词统计程序
0 0
hadoop 运行环境搭建
hadoop 运行环境搭建
0 0
hadoop运行环境搭建准备(2)
hadoop运行环境搭建准备(2)
0 0
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
0 0
Hadoop运行环境搭建(开发重点三)、在hadoop102安装JDK、配置JDK环境变量、测试JDK是否安装成功
为什么只在hadoop102上安装JDK,因为在hadoop102中安装后将JDK拷贝到hadoop103和hadoop104中,同样后面安装Hadoop的时候也是这样的操作、解压JDK到/opt/module目录下、配置好后需要source一下,重新加载一下内容、在Linux系统下的opt目录中查看软件包是否导入成功、用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面、系统启动的时候就会加载/etc/profile.d这里面的文件.........
0 0
Hadoop运行环境搭建(开发重点二)克隆虚拟机、利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
在XShell和Xftp连接hadoop102、hadoop103和hadoop104、配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts、如何将hadoop104从磁盘删除、如何再将hadoop100添加回来、如果不小心将虚拟机hadoop100移除了、为什么不从hadoop101开始,因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译...
0 0
Hadoop运行环境搭建(开发重点一)、模板虚拟机环境准备、卸载虚拟机自带的JDK、安装epel-release、配置summer用户具有root权限,方便后期加sudo执行root权限的命令
安装模板虚拟机,IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G、hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7-x86_64-DVD-2009为例)、使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况、注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作、创建summer用户,并修改summer用户的密码、在/opt目录下创建文件夹,并修改所属主和所属
0 0
Hadoop运行环境搭建(开发重点)、VMware 安装
推荐的软件为VMware,VMware可以使用户在一台计算机上同时运行多个操作系统,还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统,甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。一台电脑本身是可以装多个操作系统的,但是做不到多个操作系统切换自如,所以我们需要一款软件帮助我们达到这个目的,不然数仓项目搭建不起来。然后点击安装即可,因为我有VMware,所以他提醒我升级,你们那边显示的是安装,然后等待安装成功即可。点我接受,然后点下一步。.
0 0
+关注
wuyudong
我的个人博客地址:http://wuyudong.com/
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Why is my Hadoop* job slow
立即下载
Hadoop存储与计算分离实践
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载