windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu

简介: 一、环境介绍 宿主机:windows8 虚拟机:Ubuntu14.04 hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731 Eclipse:eclipse-jee-luna-SR2-win32-x86_64 二、准备阶段 网上下载hadoop-eclipse-plugin-2.

一、环境介绍

宿主机:windows8

虚拟机:Ubuntu14.04

hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731

Eclipse:eclipse-jee-luna-SR2-win32-x86_64

二、准备阶段

网上下载hadoop-eclipse-plugin-2.6.0.jar (点击下载)

也可以自行编译(网上教程挺多的,可以自己百度 or Google)

三、begin

  • 复制编译好的jar到eclipse插件目录(如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),进入eclipse目录,执行sudo chmod 777 * -R,重启eclipse           这一步特别重要网上好多资料都不是这样写的,所以配置一直不成功。
  • 配置 hadoop 安装目录

window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

  • 配置Map/Reduce 视图

window ->Open Perspective -> other->Map/Reduce -> 点击“OK”

windows → show view → other->Map/Reduce Locations-> 点击“OK”

  • 控制台会多出一个“Map/Reduce Locations”的Tab页

在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”,配置如下内容:将ha1改为自己的hadoop用户

接着再切换到 Advanced parameters 选项面板,这边有详细的配置,切记需要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行修改。

网上几乎所有的教程都是如此,的确按这个教程配置完成后会在eclipse左上角出现DFS Locations,如下图


但其实还会碰见各种各样的问题,小编只将本人遇到的和解决办法呈现

(1)注意:将虚拟机的hadoop下修改的配置文件(core-site.xml   hdfs-site.xml log4j.properties复制到程序的src目录下)

(2)DFS下一些文件加载不出来,提示 permission denied错误

解决办法:给HDFS目录文件添加权限,hdfs dfs -chmod -R 777 /

附:推荐一篇不错的文章http://www.aboutyun.com/thread-8780-1-1.html

参考:www.tuicool.com/articles/BRBzquj

            www.cnblogs.com/aijianiula/p/4546021.html

常见错误和解决办法参考:http://blog.csdn.net/gamer_gyt/article/details/47252671

相关文章
|
5月前
|
分布式计算 监控 网络协议
Hadoop集群长时间运行网络延迟原因
【6月更文挑战第20天】
134 2
|
29天前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
38 3
|
1月前
|
并行计算 开发工具 异构计算
在Windows平台使用源码编译和安装PyTorch3D指定版本
【10月更文挑战第6天】在 Windows 平台上,编译和安装指定版本的 PyTorch3D 需要先安装 Python、Visual Studio Build Tools 和 CUDA(如有需要),然后通过 Git 获取源码。建议创建虚拟环境以隔离依赖,并使用 `pip` 安装所需库。最后,在源码目录下运行 `python setup.py install` 进行编译和安装。完成后即可在 Python 中导入 PyTorch3D 使用。
121 0
|
3月前
|
监控 机器人 Unix
GoLand——windows下如何编译Linux二进制文件
GoLand——windows下如何编译Linux二进制文件
52 1
GoLand——windows下如何编译Linux二进制文件
|
3月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
157 2
|
3月前
|
分布式计算 Hadoop Java
Hadoop_MapReduce中的WordCount运行详解
MapReduce的WordCount程序在分布式系统中计算大数据集中单词出现的频率时,提供了一个可以复用和可伸缩的解决方案。它体现了MapReduce编程模型的强大之处:简单、可靠且将任务自动分布到一个集群中去执行。它首先运行一系列的Map任务来处理原始数据,然后通过Shuffle和Sort机制来组织结果,最后通过运行Reduce任务来完成最终计算。因此,即便数据量非常大,通过该模型也可以高效地进行处理。
89 1
|
3月前
|
分布式计算 资源调度 监控
MapReduce程序中的主要配置参数详解
【8月更文挑战第31天】
71 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
275 0
|
3月前
|
C++ Windows
Windows下编译64位CGAL
Windows下编译64位CGAL
95 0
|
3月前
|
编译器 Linux C语言
Windows下编译并使用64位GMP
Windows下编译并使用64位GMP
154 0