开发者社区> 突突修> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hadoop 2.x环境搭建准备

简介: 一:下载Hadoop image.png 二:安装说明 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html 三:查看是否安装jdk 四:强力卸载已将安装的JDK 空格分开卸载项。
+关注继续查看

一:下载Hadoop

image.png

二:安装说明

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

三:查看是否安装jdk

四:强力卸载已将安装的JDK

空格分开卸载项。利用--nodeps参数强力卸载

image.png

5:上传文件Hadoop和jdk

image.png

:6:解压jdk文件到指定目录

tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

7:设置jdk环境变量

vi /etc/profile
末尾添加java环境变量


image.png

8:环境变量生效

source /etc/profile

image.png

9:解压hadoop

tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/
image.png

10:修改hadoop环境文件

vi /opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh

image.png
修改java环境变量
image.png

11、hadoop三种启动模式


本地模式
未分布式模式
分布式模式

12、本地模式Local (Standalone) Mode


说明:part-r-00000 表示是MapReduce跑出来的结果。

以dfs开始a-z不限的结果只有一个。

样例 统计下面文本中各单词出现的次数

命令说明:jar 命令运行MapReduce样例 传入参数统计 wcinput目录下所有文件各单词出现的次数,并把结果输出到wcoutput目录下
查看执行结果
image.png

13、配置core-site.xml 设置HDFS地址

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.57.192:8020</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
</configuration>

14、配置hdfs-site.xml

文件分布式存储备份个数
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

15、格式化HDFS的NAMENODE

bin/hdfs namenode -format



16启动HDFS的主节点NameNode

启动命令:sbin/hadoop-daemon.sh start namenode
说明:hadoop-daemon.sh 是hadoop的守护进程,利用它启动HDFS的主节点。

image.png

17、启动HDFS的从节点DataNode

sbin/hadoop-daemon.sh start datanode

18、查看是否启动成功

jps

19、开通8020/50070端口

vi /etc/sysconfig/iptables

20、访问HDFS的web页面

image.png

21、进入HDFS文件系统

image.png

22、创建HDFS文件目录

创建HDFS文件系统目录
bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input

23、上传wc.input 文本文件

上传wc.input命令:
bin/hdfs dfs -put wcinput/wc.input /user/beifeng/mapreduce/wordcount/input
把wc.input 文件上传到/user/beifeng/mapreduce/wordcount/input目录下

image.png

24、报错:datanode 错误。解决方法


25、上传文件成功并查看

上传用命令:-put

image.png

26、通过HDFS服务器系统统计单词数量

命令:bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input/ /user/beifeng/mapreduce/wordcount/output

image.png

27、查看

命令bin/hdfs dfs -cat /user/beifeng/mapreduce/wordcount/output/part*

image.png
image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
CentOS7下Hadoop分布式环境搭建过程
CentOS7下Hadoop分布式环境搭建过程
0 0
hadoop 运行环境搭建
hadoop 运行环境搭建
0 0
hadoop完全分布式环境搭建实操(6)
hadoop完全分布式环境搭建实操(6)
0 0
hadoop完全分布式环境搭建知识准备(5)
hadoop完全分布式环境搭建知识准备(5)
0 0
hadoop运行环境搭建准备(2)
hadoop运行环境搭建准备(2)
0 0
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录
0 0
Hadoop运行环境搭建(开发重点三)、在hadoop102安装JDK、配置JDK环境变量、测试JDK是否安装成功
为什么只在hadoop102上安装JDK,因为在hadoop102中安装后将JDK拷贝到hadoop103和hadoop104中,同样后面安装Hadoop的时候也是这样的操作、解压JDK到/opt/module目录下、配置好后需要source一下,重新加载一下内容、在Linux系统下的opt目录中查看软件包是否导入成功、用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面、系统启动的时候就会加载/etc/profile.d这里面的文件.........
0 0
Hadoop运行环境搭建(开发重点二)克隆虚拟机、利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
在XShell和Xftp连接hadoop102、hadoop103和hadoop104、配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts、如何将hadoop104从磁盘删除、如何再将hadoop100添加回来、如果不小心将虚拟机hadoop100移除了、为什么不从hadoop101开始,因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译...
0 0
Hadoop运行环境搭建(开发重点一)、模板虚拟机环境准备、卸载虚拟机自带的JDK、安装epel-release、配置summer用户具有root权限,方便后期加sudo执行root权限的命令
安装模板虚拟机,IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G、hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7-x86_64-DVD-2009为例)、使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况、注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作、创建summer用户,并修改summer用户的密码、在/opt目录下创建文件夹,并修改所属主和所属
0 0
Hadoop运行环境搭建(开发重点)、VMware 安装
推荐的软件为VMware,VMware可以使用户在一台计算机上同时运行多个操作系统,还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统,甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。一台电脑本身是可以装多个操作系统的,但是做不到多个操作系统切换自如,所以我们需要一款软件帮助我们达到这个目的,不然数仓项目搭建不起来。然后点击安装即可,因为我有VMware,所以他提醒我升级,你们那边显示的是安装,然后等待安装成功即可。点我接受,然后点下一步。.
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Why is my Hadoop* job slow
立即下载
Hadoop存储与计算分离实践
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载