我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。
闲话少说,走起!
第一步 安装MyEclipse的Hadoop插件
1 打开MyEclipse,查看是否已经安装过
window -> preferences
没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件。
首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。
2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0
将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。
放进去
重启后,会出现下面的这个界面,即弹出Drop-in Changes Detected检测,点击ok即可,
即,出现了Hadoop Map/Reduce,说明在MyEclipse里安装Hadoop插件成功。
第二步 本地的Hadoop安装
1、hadoop-2.2.0-x64.rar的下载
首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。
2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0
重启MyEclipse,菜单的Windows -> Preferences 中
会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)
解压前,
解压后,
3、配置环境变量
新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0
修改Path变量,添加:
;D:\Software\hadoop-2.2.0\bin 注意分号
4、添加Map/Reduce Location
将Eclipse/MyEclipse切换到Map/Reduce视图,
底部操作区会出现Map/Reduce Locations项,如下图所示:
在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.
在弹出的界面中做如下设置:
50020 -> 50070 (50070是MapReduce的Web界面)
50040-> 9000
zhouls -> hadoop
5、sbin/start-all.sh , 再 jps
6、 点击windows -> show view -> project Exploer ,可以出现以下
这就表明,hadoop与本地的MyEclipse搭建成功。
新建MapReduce项目
下面,新建一个
1、File -> New -> Map/Reduce Project
2、将Map/Reduce Project 项目工程的名字设置为Hadoop
3、Open Associated Perspective选择界面,点击“Yes”
4、即出现Hadoop
5、新建包Package
src -> New Package
Source folder: Hadoop/src
Name:com.dajiangtai.hadoop.test
6、新建类名,WordCount
7、来看下WordCount自带的程序:
改之前,是
改之后,是
8、window -> show view -> other ->
9、运行下程序。
10、
11、
12、在本地的Hadoop安装目录下的src目录里,将log4j.properties复制到其下。
13、重启后的MyEclipse对应的位置。
然后,再执行WordCount.java
刷新,查询下结果
这个统计结果跟之前一致。
即表明搭建基于MyEclipse的Hadoop开发环境已经成功!
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5071672.html,如需转载请自行联系原作者