搭建基于MyEclipse的Hadoop开发环境

简介:

 我们绝大多数都习惯在Eclipse或MyEclipse中做Java开发,本次随笔我就教大家如何搭建一个基于MyEclipse IDE的Hadoop开发环境。

闲话少说,走起!

 

 

 

 

第一步 安装MyEclipse的Hadoop插件

1 打开MyEclipse,查看是否已经安装过

window  ->  preferences 

没有显示Hadoop Map/Reduce,则说明MyEclipse是没有安装过Hadoop的插件

首先,确认你本地的Windows上已经安装JDK和Eclipse或者MyEclipse,并能开发java程序。

 

 

2、下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.2.0 

将下载下来的jar文件放入安装的MyEclipse 10\dropins目录下,然后重启MyEclipse。

放进去

 

重启后,会出现下面的这个界面,即弹出Drop-in Changes Detected检测,点击ok即可,

即,出现了Hadoop Map/Reduce,说明在MyEclipse里安装Hadoop插件成功。

 

 

第二步 本地的Hadoop安装

1、hadoop-2.2.0-x64.rar的下载

首先,明确了本地的JDK是64位版本,所以需要下载对应位的hadoop运行包。其实,也是为了与CentOS6.5里的hadoop运行包和jdk对应一致。

 

2 、解压下载的文件包,存放在你希望的某个目录下,比如:D:\Software\hadoop-2.2.0

重启MyEclipse,菜单的Windows   ->   Preferences 中

会多出一个 Hadoop Map/Reduce的项。点击这一项,右侧选择你的Hadoop存放目录 (D:\Software\hadoop-2.2.0)

解压前,

解压后,

 

 

 

3、配置环境变量

新建环境变量HADOOP_HOME,变量值为D:\Software\hadoop-2.2.0

修改Path变量,添加:

;D:\Software\hadoop-2.2.0\bin   注意分号

 

 

4、添加Map/Reduce Location

将Eclipse/MyEclipse切换到Map/Reduce视图,

底部操作区会出现Map/Reduce Locations项,如下图所示:

在上图所示区域点击鼠标右键或者如上图所示点击它也行,然后New Hadoop location.

在弹出的界面中做如下设置:

50020 -> 50070      (50070是MapReduce的Web界面)

50040-> 9000  

zhouls -> hadoop

 

 

5、sbin/start-all.sh , 再 jps

 

 

6、 点击windows  ->  show view  ->  project Exploer ,可以出现以下

这就表明,hadoop与本地的MyEclipse搭建成功。

 

 

 

新建MapReduce项目

下面,新建一个

1、File  ->  New  ->  Map/Reduce Project 

 

 

2、将Map/Reduce Project 项目工程的名字设置为Hadoop

 

 

3、Open Associated Perspective选择界面,点击“Yes”

 

 

4、即出现Hadoop

 

 

5、新建包Package

  src   ->    New  Package 

Source  folder: Hadoop/src

Name:com.dajiangtai.hadoop.test

 

 

6、新建类名,WordCount

 

 

7、来看下WordCount自带的程序:

 

改之前,是

改之后,是

 

 

 

8、window -> show view -> other -> 

 

 

9、运行下程序。

 

 

10、

 

 

11、

 

 

12、在本地的Hadoop安装目录下的src目录里,将log4j.properties复制到其下。

 

 

 13、重启后的MyEclipse对应的位置。

然后,再执行WordCount.java

刷新,查询下结果

这个统计结果跟之前一致。

即表明搭建基于MyEclipse的Hadoop开发环境已经成功!

 

 

 

 

 

 

 

 

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5071672.html,如需转载请自行联系原作者

 

 
相关文章
|
5月前
|
分布式计算 Hadoop Android开发
hadoop-eclipse-plugin(版本hadoop2.7.3)
hadoop-eclipse-plugin(版本hadoop2.7.3)
156 6
hadoop-eclipse-plugin(版本hadoop2.7.3)
|
分布式计算 资源调度 Hadoop
搭建hadoop集群教程
详细的Hadoop搭建教程
|
分布式计算 Hadoop 网络安全
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)
107 1
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(2)
|
分布式计算 Hadoop Java
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(1)
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)
103 1
Hadoop快速入门——第二章、分布式集群(第二节、Hadoop分布式模式搭建)(1)
|
XML 分布式计算 Hadoop
Centos下搭建Hadoop伪分布式(二)
Centos下搭建Hadoop伪分布式
245 0
Centos下搭建Hadoop伪分布式(二)
|
存储 分布式计算 Hadoop
Centos下搭建Hadoop伪分布式(一)
Centos下搭建Hadoop伪分布式
236 0
Centos下搭建Hadoop伪分布式(一)
|
存储 资源调度 分布式计算
Hadoop分布式集群搭建
Hadoop分布式集群搭建
212 0
Hadoop分布式集群搭建
|
弹性计算 JSON 分布式计算
通过资源编排批量部署 Hadoop 开发环境|学习笔记
快速学习通过资源编排批量部署 Hadoop 开发环境
通过资源编排批量部署 Hadoop 开发环境|学习笔记
|
分布式计算 资源调度 Hadoop
CDH 搭建_ Hadoop _安装包|学习笔记
快速学习 CDH 搭建_ Hadoop _安装包
229 0
CDH 搭建_ Hadoop _安装包|学习笔记
|
资源调度 分布式计算 Hadoop
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记
快速学习 CDH 搭建_ Hadoop _ Yarn 搭建
213 0
CDH 搭建_ Hadoop _ Yarn 搭建|学习笔记

推荐镜像

更多
下一篇
无影云桌面