HDFS Java API编程

简介: HDFS Java API编程

hadoop实验:

HDFS Java API编程

实验目的:

1、理解HDFS Java API编程原理;

2、掌握HDFS的命令;

3、掌握Elipse远程调试Hadoop程序的方法;

4、掌握HDFS基本的API调用方法。

实验任务:

能够完成eclipse安装及环境搭建

能够编写hdfs基本操作代码并打包到linux上运行

掌握HDFS的命令

掌握Eclipse 远程调试Hadoop程序的方法

实验记录:

打开eclipse完成创建

File->New->other->

选择Map/Reduce Project->next

配置hadoop安装路径

输入项目名:hdfs-hadoop127

新建package:hdfsapi

在包下面新建第一个测试类操作hdfs:

此时打开虚拟机开启集群:

运行程序(在hdfs上指定/home路径下新建一个文件夹test45)

 

显示运行成功

查看hdfs执行结果

 

将运行成功的文件打包成jar包

对要打包的文件右键

Export->java->jar-file->next->Browse

选择打包的路径

完成点击finish

指定打包路径查看打好的jar包

 

 

打开xftp文件传输

 

 

将window上的jar包拖到Linux上指定位置即可

在Linux上面查看jar包文件

为了验证的准确性,我们可以删除刚才新建的test45文件夹:

完成删除只剩下一个simon

在Linux上面执行jar包

此时会有一个报错

发现eclipse使用的JDK版本和Linux运行的JDK版本不一致导致不兼容问题

解决方法:

修改eclipse运行的JDK版本(Linux使用JDK为1.7)

重新打包文件再次运行

查看运行结果:

成功执行完成文件夹创建

继续执行下一个测试文件(在test45文件夹下面新建一个hello.txt文件并写入数据)

执行成功!查看网页端:

数据写入成功

将文件打包

将打好的jar包上传到Linux

删除web端文件验证Linux执行文件

执行后

Web端

打包其他同样的java测试文件

继续验证文本追加

Linux执行jar包

Web端验证数据是否写入成功!

 


相关文章
|
5月前
|
Java API 数据处理
Java新特性:使用Stream API重构你的数据处理
Java新特性:使用Stream API重构你的数据处理
|
4月前
|
Java
如何在Java中进行多线程编程
Java多线程编程常用方式包括:继承Thread类、实现Runnable接口、Callable接口(可返回结果)及使用线程池。推荐线程池以提升性能,避免频繁创建线程。结合同步与通信机制,可有效管理并发任务。
227 6
|
4月前
|
IDE Java 编译器
java编程最基础学习
Java入门需掌握:环境搭建、基础语法、面向对象、数组集合与异常处理。通过实践编写简单程序,逐步深入学习,打牢编程基础。
292 1
|
5月前
|
SQL Java 数据库
2025 年 Java 从零基础小白到编程高手的详细学习路线攻略
2025年Java学习路线涵盖基础语法、面向对象、数据库、JavaWeb、Spring全家桶、分布式、云原生与高并发技术,结合实战项目与源码分析,助力零基础学员系统掌握Java开发技能,从入门到精通,全面提升竞争力,顺利进阶编程高手。
1019 1
|
4月前
|
安全 前端开发 Java
从反射到方法句柄:深入探索Java动态编程的终极解决方案
从反射到方法句柄,Java 动态编程不断演进。方法句柄以强类型、低开销、易优化的特性,解决反射性能差、类型弱、安全性低等问题,结合 `invokedynamic` 成为支撑 Lambda 与动态语言的终极方案。
218 0
|
5月前
|
Java 大数据 API
Java Stream API:现代集合处理与函数式编程
Java Stream API:现代集合处理与函数式编程
329 100
|
5月前
|
Java API 数据处理
Java Stream API:现代集合处理新方式
Java Stream API:现代集合处理新方式
350 101
|
5月前
|
并行计算 Java 大数据
Java Stream API:现代数据处理之道
Java Stream API:现代数据处理之道
304 101
|
5月前
|
Java 开发者
Java并发编程:CountDownLatch实战解析
Java并发编程:CountDownLatch实战解析
516 100
|
5月前
|
安全 Java API
使用 Java 构建强大的 REST API 的四个基本技巧
本文结合探险领域案例,分享Java构建REST API的四大核心策略:统一资源命名、版本控制与自动化文档、安全防护及标准化异常处理,助力开发者打造易用、可维护、安全可靠的稳健API服务。
279 2