开发者社区> a_宇> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

HDFS_API_Java编程

简介:
+关注继续查看
MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统

1.导入HDFS的jar包
解压hadoop_2.6.0.tar.gz的安装包,
WEBRESOURCE39efbe1bd3b87b06bb5a352deb819

WEBRESOURCE8e297047a9bcc83f9bc4e9a1e303d


WEBRESOURCEf0d5da1018a48c721a0b4da592a83

WEBRESOURCEe832b2bc748c77ee92be310a2a6df


选中所有放在lib中的jar包,右键,buildpath
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2.新建类,然后开始编程
com.gaojunyu.hadoop.hdfs.test包中新建HdfsAPITest.java类
WEBRESOURCE78bfc268a2778f94d1498ce3f276c
注意导入的包都是Hadoop的jar包
WEBRESOURCEb21b54512e2919cf00c7750b731e8

测试读本地文件系统文件(可以读取到)
WEBRESOURCE22d6256fd8a16e6f65ec75bfd4095

LocalFileSystem是FileSystem的子类,这里拿到的是这个,所以暂时只能读本地的文件系统呢!
WEBRESOURCEd01bd4111fd472c37381f46debb84

两种方法读取HDFS上的文件
WEBRESOURCE9aa690eef3ecde42abdcc33a0e7db
第一种: FileSystem fs = FileSystem.get(new URI("hdfs://192.168.177.130:9000"), conf); //这个URI参照core-site.xml
第二种:把core-site.xml文件从集群中拷贝出来,放到项目的src目录下
要注意,core-site.xml文件的配置,如下图,要么做IP与主机名的映射,要么干脆就直接写IP
WEBRESOURCE8da7efd470a9d5687000b0fa79fd4

下面是做到这里的所有代码,已经优化,改过了!
WEBRESOURCE39b91a1cd1d0c3a623177bb366421

WEBRESOURCE8dc03f39d5cb77a11f0279fd70183

WEBRESOURCE7ae5207bb42ccb5918f25ed35a65d

WEBRESOURCEb69295ee31305e6e78eec0601093c

WEBRESOURCEe1c638e6bcbd7f459385c70a741e9




WEBRESOURCE977903e0d5ec0cc15b8c710aef9d3



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
HDFSAPI编程源码-文件写入
HDFSAPI编程源码-文件写入
0 0
HDFS的API案例实操
HDFS的API案例实操
0 0
Hadoop基础-04-HDFS API编程
Hadoop基础-04-HDFS API编程 13
0 0
HDFS API的简单使用(2)
<pre name="code" class="java">package cn.framelife.hadoop; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSy
982 0
HDFS API的简单使用(1)
<pre name="code" class="java">package cn.framelife.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hado
893 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
HBase多语言访问
立即下载
HBase实践之MOB使用指南(未翻译)
立即下载
阿里云 API 精选手册(Alibaba Cloud API Playbook)
立即下载