hadoop eclipse 插件配置使用

简介: 第一次使用hadoop,另外eclipse也不太熟悉,现在把自己在安装过程中得琐碎问题记录下来。 eclipse版本:eclipse-jee-indigo-SR2-linux-gtk.tar.gz hadoop版本:hadoop-0.20.203.0 本文前提是,你已经正确安装了hadoop-0.20.203.0,hadoop伪分布模式的安装过程网上有很多。 e

第一次使用hadoop,另外eclipse也不太熟悉,现在把自己在安装过程中得琐碎问题记录下来。

eclipse版本:eclipse-jee-indigo-SR2-linux-gtk.tar.gz

hadoop版本:hadoop-0.20.203.0

本文前提是,你已经正确安装了hadoop-0.20.203.0,hadoop伪分布模式的安装过程网上有很多。

eclipse下载解压后,直接点击eclipse图标打开即可(很绿色环保~~)

1.插件安装

        在$HADOOP_HOME/contrib/eclipse-plugin/文件夹中有个hadoop-eclipse-plugin-0.20.203.0.jar,把这个文件复制到eclipse/plugins(这是eclipse的插件目录)下面即可。

注意在直接复制时会出错,主要是缺少jar包。

解决方法:(1)将commons-httpclient-3.0.1.jar,jackson-core-asl-1.0.1.jar,jackson-mapper-asl-1.0.1.jar,commons-configuration-1.6.jar,lcommons-lang-2.4.jar(这几个jar包在$HADOOP_HOME/lib/下找到)放入hadoop-0.20.203.0-eclipse-plugin的lib下

                   (2)修改hadoop-0.20.203.0-eclipse-plugin/META-INF/MANIFEST.MF 中的Bundle-ClassPath项

1
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

2.环境配置

  启动Eclipse,然后在Window->Preferences->Hadoop Map/Reduce中添加Hadoop的安装目录

配置hadoop环境:在Window–>Show View中打开Map/Reduce Locations,在底部会看到新的选项。然后右键–>New Hadoop Location,

0_1331805302s641

Location name是你自己取的名字,我这里用了hadoop,Map/Reduce Master这里的host和port对应上面mapred-site.xml中mapred.job.tracker的值,我配置的是localhost和9001;DFS Master对应上面core-site.xml中fs.default.name中的值,我配置的是localhost和9000.

完成后,如果屏幕左上方的DFS Locations中的内容可以正常显示,说明配置一切成功。

3.运行wordcount

使用Eclipse编写Hadoop的程序了,按该方式创建File->New->Project->Map/Reduce Project.命名为hadoop-test。

将hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples下的wordcount.java复制到当前项目中。

注意:要在src中看到WordCount.java文件,如果已经复制过来还看不到,在hadoop-test上右击选择refresh试一试。

另外,直接复制过来的文件,第一行要注释掉     //package org.apache.hadoop.examples;

在Run configuration/Java Application/WordCount下进行程序参数设置

input为又本地导入HDFS得输入文件,其中包含两个文本文件,file01和file02

完成后,使用 Run As/Run on Hadoop运行~~~~

在HDFS系统视图下可以看到刚才得运行结果

中途碰到得问题:装得时候不知道怎么回事,项目侧边栏(Project explorer)看不见了。或者侧边栏是Package explorer,这种情况下是看不见DFS Locations的,应该在菜单栏

目录
相关文章
|
4月前
|
Java Android开发
Eclipse Debug 配置
Eclipse Debug 配置
47 3
|
4月前
|
Java Android开发
Eclipse 运行配置(Run Configuration)
Eclipse 运行配置(Run Configuration)
152 1
|
5月前
|
Java Android开发 开发者
【编程进阶知识】精细调控:掌握Eclipse JVM参数配置的艺术
本文详细介绍了如何在Eclipse中配置JVM参数,包括内存的初始和最大值设置。通过具体步骤和截图演示,帮助开发者掌握JVM参数的精细调控,以适应不同的开发和测试需求。
81 1
|
5月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
298 5
|
5月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
128 4
|
5月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
296 4
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
187 4
|
5月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
95 3
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
209 2
|
5月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
98 2

相关实验场景

更多

推荐镜像

更多