Hadoop学习(二) 配置Hadoop的Eclipse的编程环境

简介: 测试Java连接hadoop 编程实现读取一个分布式文件。

Eclipse版本,Juno (4.2) 。先去网上下载Eclipse的Plugin插件,org.apache.hadoop.eclipse.plugins.1.0.3.jar 放到eclipse/dropins下,重启eclipse会自动找到插件。

在Eclipse的偏好设定-Hadoop下设定本地的Hadoop安装路径。

在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图。

点击右键,新建一个Location,在弹出框内设定名称和端口号9000。

点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。

本地创建一个文件,命名为a01.dat,编辑a01.dat,输入:Hello,hadoop! 保存退出。

在Project Explore视图中,点击右键,选择Upload files to DFS,将a01.dat文件上传。

在新建项目向导中,新建一个Map/Reduce的项目。

在src路径下,新建一个普通的Java类,源代码如下:

  import java.io.FileNotFoundException;  
  import java.io.IOException;  
  import java.net.URI;
  import java.net.URISyntaxException;  
  import org.apache.hadoop.conf.Configuration;
  import org.apache.hadoop.fs.FSDataInputStream;  
  import org.apache.hadoop.fs.FileSystem;
  import org.apache.hadoop.fs.Path;  
  import org.apache.hadoop.io.IOUtils;  
  import org.apache.hadoop.security.AccessControlException;  

  public class test {  
     public static void main(String[] args) throws AccessControlException,  
        FileNotFoundException, IOException, URISyntaxException {  
   
        String dst = "hdfs://localhost:9000/a01.dat";
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(dst), conf);
        FSDataInputStream hdfsInStream = fs.open(new Path(dst));
    IOUtils.copyBytes(hdfsInStream, System.out, 4090, false);  
   }  
 }  

选择Run As - Run on Hadoop
出现结果:Hello,hadoop!

目录
相关文章
|
10天前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
26 4
|
10天前
|
存储 Java 开发工具
在Eclipse配置安装Android详细教程(新手)
在Eclipse配置安装Android详细教程(新手)
29 1
|
2天前
|
分布式计算 Hadoop 数据安全/隐私保护
现成Hadoop安装和配置,图文手把手交你
现成Hadoop安装和配置,图文手把手交你
|
5天前
|
存储 分布式计算 Hadoop
Spark编程实验一:Spark和Hadoop的安装使用
Spark编程实验一:Spark和Hadoop的安装使用
24 4
|
10天前
|
分布式计算 数据可视化 Hadoop
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
|
10天前
|
存储 分布式计算 监控
Hadoop配置复杂性
【5月更文挑战第7天】Hadoop配置复杂性
18 3
|
10天前
|
存储 分布式计算 Hadoop
Hadoop配置
【5月更文挑战第4天】
29 1
|
10天前
|
分布式计算 Hadoop Linux
Hadoop节点IP地址和子网掩码配置
【5月更文挑战第1天】
29 5
|
10天前
|
分布式计算 网络协议 Hadoop
Hadoop节点扩展配置DNS和主机名解析
【4月更文挑战第19天】
25 1
|
10天前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
24 0

相关实验场景

更多

推荐镜像

更多