开发者社区> a_宇> 正文

HDFS_API_Java编程

2016-11-24 1561

简介：
+关注继续查看
MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统

1.导入HDFS的jar包
解压hadoop_2.6.0.tar.gz的安装包，
WEBRESOURCE39efbe1bd3b87b06bb5a352deb819

WEBRESOURCE8e297047a9bcc83f9bc4e9a1e303d


WEBRESOURCEf0d5da1018a48c721a0b4da592a83

WEBRESOURCEe832b2bc748c77ee92be310a2a6df


选中所有放在lib中的jar包，右键，buildpath
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2.新建类，然后开始编程
com.gaojunyu.hadoop.hdfs.test包中新建HdfsAPITest.java类
WEBRESOURCE78bfc268a2778f94d1498ce3f276c
注意导入的包都是Hadoop的jar包
WEBRESOURCEb21b54512e2919cf00c7750b731e8

测试读本地文件系统文件（可以读取到）
WEBRESOURCE22d6256fd8a16e6f65ec75bfd4095

LocalFileSystem是FileSystem的子类，这里拿到的是这个，所以暂时只能读本地的文件系统呢！
WEBRESOURCEd01bd4111fd472c37381f46debb84

两种方法读取HDFS上的文件
WEBRESOURCE9aa690eef3ecde42abdcc33a0e7db
第一种： FileSystem fs = FileSystem.get(new URI("hdfs://192.168.177.130:9000"), conf); //这个URI参照core-site.xml
第二种：把core-site.xml文件从集群中拷贝出来，放到项目的src目录下
要注意，core-site.xml文件的配置，如下图，要么做IP与主机名的映射，要么干脆就直接写IP
WEBRESOURCE8da7efd470a9d5687000b0fa79fd4

下面是做到这里的所有代码，已经优化，改过了！
WEBRESOURCE39b91a1cd1d0c3a623177bb366421

WEBRESOURCE8dc03f39d5cb77a11f0279fd70183

WEBRESOURCE7ae5207bb42ccb5918f25ed35a65d

WEBRESOURCEb69295ee31305e6e78eec0601093c

WEBRESOURCEe1c638e6bcbd7f459385c70a741e9




WEBRESOURCE977903e0d5ec0cc15b8c710aef9d3



版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

Java API 分布式计算 Hadoop Android开发
java函数式编程 java编程技巧 java8编程 java编程交叉 java函数编程
开发者社区 > 开发与运维 > 文章
云迁移中心
作者高分内容
更多
ECS搭建hadoop伪分布式出错 5101 HDFS_API_Java编程 1560 HDFS-Shell 1544 hadoop伪分布式运行wordcount出错 2808
相关文章
小熊simon学IT
HDFS Java API编程
HDFS Java API编程
26 0
花花叔叔
HDFS的API案例实操
HDFS的API案例实操
23 0
孙中明
Hadoop基础-04-HDFS API编程
Hadoop基础-04-HDFS API编程 13
106 0
技术小哥哥
Hadoop MapReduce编程 API入门系列之wordcount版本4（八）
1396 0
技术小哥哥
Hadoop HDFS编程 API入门系列之HdfsUtil版本2（七）
971 0
技术小哥哥
Hadoop HDFS编程 API入门系列之HdfsUtil版本1（六）
1320 0
技术小哥哥
Hadoop HDFS编程 API入门系列之RPC版本1（八）
1135 0
技术小哥哥
Hadoop HDFS编程 API入门系列之RPC版本2（九）
946 0
技术小哥哥
Hadoop MapReduce编程 API入门系列之wordcount版本2（六）
1310 0
技术小哥哥
Hadoop MapReduce编程 API入门系列之小文件合并（二十九）
1340 0
+关注
a_宇
文章
问答
作者高分内容
更多
ECS搭建hadoop伪分布式出错 5101 HDFS_API_Java编程 1560 HDFS-Shell 1544 hadoop伪分布式运行wordcount出错 2808
文章排行榜
最热
最新
1 fastjson2为什么这么快 74770
2 7年资深后端带你读懂Redis源码，共总结了这7点心得 67931
3 Meetup 报名丨 共话云原生架构升级，微服务x容器开源 Meetup 北京站来啦！ 64526
4 CVPR2021 | 视觉推理解释框架VRX：用结构化视觉概念作为解释网络推理逻辑的「语言」 63516
5 结构化总结与结构化思考之《金字塔原理》总结 56334
6 实现人机协同高稳定性，阿里云5G专网IoT方案入选工信部优秀解决方案 54123
7 C语言题解 | 移除元素(多种解法) 49967
8 jasypt-spring-boot敏感信息加密解密利器使用指南 47661
9 快速开发光伏电站数字孪生运维系统（一） 44669
10 Hive数据倾斜的原因以及常用解决方案 33190
11 高并发编程之阻塞队列 32750
12 Spring 事务【隔离级别与传播机制】 30497
13 性能优化之使用vue-worker插件（基于Web Worker）开启多线程运算提高效率 29501
14 计网之初识网络(理解网络传输的基本流程) 28022
15 DataWorks管控台无法配置PAI引擎临时解决方案 42526
16 Android体系课之--LeakCanary内存泄露检测原理解析 25940
17 零基础快速开发Vue图书管理系统—登录注册篇（一） 22688
18 IoT设备数据的存储、解析和价值挖掘实践 22653
19 【实战企业级Java二】渐进式理解Redis分布式锁 22493
20 IoT Studio 物联网可视化应用搭建开发实践 21306
1 关于几天前出的 MinIO 敏感信息泄露漏洞，分享两种扫描方法 81
2 数据备份浅谈 133
3 Flink Table Store 独立孵化启动 ，Apache Paimon 诞生 366
4 云原生一站式：以PolarDB为代表的阿里云瑶池数据库，带领国产数据库换道超车 148
5 银行卡四要素验证API接口怎么用 61
6 云数据库行业动态【2023年3月版】 139
7 【ASPLOS 2023】图神经网络统一图算子抽象uGrapher，大幅提高计算性能 56
8 【数据库设计与实现】第6章：并发控制 90
9 整理常用ecs命令 56
10 全面分析！ThreadLocal内存泄漏的原因！ 80
11 架构设计：系统时序图 62
12 如何将「知识」体系化管理 4183
13 JVM学习.04. Java内存模型与线程模型 72
14 m基于GRNN神经网络和高阶累积量的信号类型识别matlab仿真 55
15 Flink CDC 专题首发｜每天 10 分钟，解锁新一代数据集成框架 241
16 关于职场晋升，有这些步骤你都了解吗？（附完整指导图） 36147
17 ChatGPT4 给出数据库开发者最容易犯的 10 个错误和解决方案 100
18 性能最大提升60%，阿里云第八代企业级实例ECS g8i正式上线 7427
19 [版本更新]PolarDB-X v2.2.1 生产级关键能力开源升级 140
20 阿里云68元、36元和20.2元域名注册代金券如何领取和使用？ 57
相关课程
更多
E-MapReduce入门
70
4
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
81
25
去学习
HBase入门教程
10235
41
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
244
33
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
235
28
去学习
大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
116
32
去学习
推荐文章
参与OCR文档自学习产品评测，赢Airpods 2 参与云效代码管理Codeup评测，赢Redmi Watch 3 参与IoT小程序框架评测，赢CHERRY机械键盘 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
HBase多语言访问
立即下载
HBase源码解析
立即下载
HBase实践之MOB使用指南（未翻译）
立即下载
相关实验场景
更多
Elasticsearch Java API Client 开发
141
1.0小时
去实验