HDFS Java API编程

简介: HDFS Java API编程

hadoop实验:

HDFS Java API编程

实验目的:

1、理解HDFS Java API编程原理;

2、掌握HDFS的命令;

3、掌握Elipse远程调试Hadoop程序的方法;

4、掌握HDFS基本的API调用方法。

实验任务:

能够完成eclipse安装及环境搭建

能够编写hdfs基本操作代码并打包到linux上运行

掌握HDFS的命令

掌握Eclipse 远程调试Hadoop程序的方法

实验记录:

打开eclipse完成创建

File->New->other->

选择Map/Reduce Project->next

配置hadoop安装路径

输入项目名:hdfs-hadoop127

新建package:hdfsapi

在包下面新建第一个测试类操作hdfs:

此时打开虚拟机开启集群:

运行程序(在hdfs上指定/home路径下新建一个文件夹test45)

 

显示运行成功

查看hdfs执行结果

 

将运行成功的文件打包成jar包

对要打包的文件右键

Export->java->jar-file->next->Browse

选择打包的路径

完成点击finish

指定打包路径查看打好的jar包

 

 

打开xftp文件传输

 

 

将window上的jar包拖到Linux上指定位置即可

在Linux上面查看jar包文件

为了验证的准确性,我们可以删除刚才新建的test45文件夹:

完成删除只剩下一个simon

在Linux上面执行jar包

此时会有一个报错

发现eclipse使用的JDK版本和Linux运行的JDK版本不一致导致不兼容问题

解决方法:

修改eclipse运行的JDK版本(Linux使用JDK为1.7)

重新打包文件再次运行

查看运行结果:

成功执行完成文件夹创建

继续执行下一个测试文件(在test45文件夹下面新建一个hello.txt文件并写入数据)

执行成功!查看网页端:

数据写入成功

将文件打包

将打好的jar包上传到Linux

删除web端文件验证Linux执行文件

执行后

Web端

打包其他同样的java测试文件

继续验证文本追加

Linux执行jar包

Web端验证数据是否写入成功!

 


相关文章
|
9月前
|
Java API 数据处理
Java新特性:使用Stream API重构你的数据处理
Java新特性:使用Stream API重构你的数据处理
|
9月前
|
Java 大数据 API
Java Stream API:现代集合处理与函数式编程
Java Stream API:现代集合处理与函数式编程
401 100
|
9月前
|
Java API 数据处理
Java Stream API:现代集合处理新方式
Java Stream API:现代集合处理新方式
385 101
|
9月前
|
并行计算 Java 大数据
Java Stream API:现代数据处理之道
Java Stream API:现代数据处理之道
475 101
|
9月前
|
安全 Java API
使用 Java 构建强大的 REST API 的四个基本技巧
本文结合探险领域案例,分享Java构建REST API的四大核心策略:统一资源命名、版本控制与自动化文档、安全防护及标准化异常处理,助力开发者打造易用、可维护、安全可靠的稳健API服务。
530 116
|
9月前
|
存储 数据可视化 Java
Java Stream API 的强大功能
Java Stream API 是 Java 8 引入的重要特性,它改变了集合数据的处理方式。通过声明式语法,开发者可以更简洁地进行过滤、映射、聚合等操作。Stream API 支持惰性求值和并行处理,提升了代码效率和可读性,是现代 Java 开发不可或缺的工具。
188 0
Java Stream API 的强大功能
|
10月前
|
安全 Java API
Java日期时间API:从Date到Java.time
本文深入解析了Java 8中引入的全新日期时间API,涵盖LocalDate、LocalTime、LocalDateTime、ZonedDateTime等核心类的使用,以及时间调整、格式化、时区处理和与旧API的互操作。通过实例对比,展示了新API在可变性、线程安全与易用性方面的显著优势,并提供迁移方案与实战技巧,助你掌握现代Java时间处理的最佳实践。
|
10月前
|
存储 NoSQL Java
Java Stream API:集合操作与并行处理
Stream API 是 Java 8 提供的集合处理工具,通过声明式编程简化数据操作。它支持链式调用、延迟执行和并行处理,能够高效实现过滤、转换、聚合等操作,提升代码可读性和性能。
|
10月前
|
存储 Java API
Java Stream API:现代数据处理之道
Java Stream API:现代数据处理之道
471 188
|
10月前
|
存储 Java API
Java Stream API:现代数据处理之道
Java Stream API:现代数据处理之道
375 92