HDFS Java API编程

简介: HDFS Java API编程

hadoop实验:

HDFS Java API编程

实验目的:

1、理解HDFS Java API编程原理;

2、掌握HDFS的命令;

3、掌握Elipse远程调试Hadoop程序的方法;

4、掌握HDFS基本的API调用方法。

实验任务:

能够完成eclipse安装及环境搭建

能够编写hdfs基本操作代码并打包到linux上运行

掌握HDFS的命令

掌握Eclipse 远程调试Hadoop程序的方法

实验记录:

打开eclipse完成创建

File->New->other->

选择Map/Reduce Project->next

配置hadoop安装路径

输入项目名:hdfs-hadoop127

新建package:hdfsapi

在包下面新建第一个测试类操作hdfs:

此时打开虚拟机开启集群:

运行程序(在hdfs上指定/home路径下新建一个文件夹test45)

 

显示运行成功

查看hdfs执行结果

 

将运行成功的文件打包成jar包

对要打包的文件右键

Export->java->jar-file->next->Browse

选择打包的路径

完成点击finish

指定打包路径查看打好的jar包

 

 

打开xftp文件传输

 

 

将window上的jar包拖到Linux上指定位置即可

在Linux上面查看jar包文件

为了验证的准确性,我们可以删除刚才新建的test45文件夹:

完成删除只剩下一个simon

在Linux上面执行jar包

此时会有一个报错

发现eclipse使用的JDK版本和Linux运行的JDK版本不一致导致不兼容问题

解决方法:

修改eclipse运行的JDK版本(Linux使用JDK为1.7)

重新打包文件再次运行

查看运行结果:

成功执行完成文件夹创建

继续执行下一个测试文件(在test45文件夹下面新建一个hello.txt文件并写入数据)

执行成功!查看网页端:

数据写入成功

将文件打包

将打好的jar包上传到Linux

删除web端文件验证Linux执行文件

执行后

Web端

打包其他同样的java测试文件

继续验证文本追加

Linux执行jar包

Web端验证数据是否写入成功!

 


相关文章
|
2月前
|
Java 程序员
Java编程中的异常处理:从基础到高级
在Java的世界中,异常处理是代码健壮性的守护神。本文将带你从异常的基本概念出发,逐步深入到高级用法,探索如何优雅地处理程序中的错误和异常情况。通过实际案例,我们将一起学习如何编写更可靠、更易于维护的Java代码。准备好了吗?让我们一起踏上这段旅程,解锁Java异常处理的秘密!
|
2月前
|
存储 缓存 Java
Java 并发编程——volatile 关键字解析
本文介绍了Java线程中的`volatile`关键字及其与`synchronized`锁的区别。`volatile`保证了变量的可见性和一定的有序性,但不能保证原子性。它通过内存屏障实现,避免指令重排序,确保线程间数据一致。相比`synchronized`,`volatile`性能更优,适用于简单状态标记和某些特定场景,如单例模式中的双重检查锁定。文中还解释了Java内存模型的基本概念,包括主内存、工作内存及并发编程中的原子性、可见性和有序性。
Java 并发编程——volatile 关键字解析
|
2月前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
117 34
|
2月前
|
算法 Java 调度
java并发编程中Monitor里的waitSet和EntryList都是做什么的
在Java并发编程中,Monitor内部包含两个重要队列:等待集(Wait Set)和入口列表(Entry List)。Wait Set用于线程的条件等待和协作,线程调用`wait()`后进入此集合,通过`notify()`或`notifyAll()`唤醒。Entry List则管理锁的竞争,未能获取锁的线程在此排队,等待锁释放后重新竞争。理解两者区别有助于设计高效的多线程程序。 - **Wait Set**:线程调用`wait()`后进入,等待条件满足被唤醒,需重新竞争锁。 - **Entry List**:多个线程竞争锁时,未获锁的线程在此排队,等待锁释放后获取锁继续执行。
85 12
|
2月前
|
存储 安全 Java
Java多线程编程秘籍:各种方案一网打尽,不要错过!
Java 中实现多线程的方式主要有四种:继承 Thread 类、实现 Runnable 接口、实现 Callable 接口和使用线程池。每种方式各有优缺点,适用于不同的场景。继承 Thread 类最简单,实现 Runnable 接口更灵活,Callable 接口支持返回结果,线程池则便于管理和复用线程。实际应用中可根据需求选择合适的方式。此外,还介绍了多线程相关的常见面试问题及答案,涵盖线程概念、线程安全、线程池等知识点。
221 2
|
3月前
|
缓存 Java 开发者
Java多线程编程的陷阱与最佳实践####
本文深入探讨了Java多线程编程中常见的陷阱,如竞态条件、死锁和内存一致性错误,并提供了实用的避免策略。通过分析典型错误案例,本文旨在帮助开发者更好地理解和掌握多线程环境下的编程技巧,从而提升并发程序的稳定性和性能。 ####
|
2月前
|
安全 算法 Java
Java多线程编程中的陷阱与最佳实践####
本文探讨了Java多线程编程中常见的陷阱,并介绍了如何通过最佳实践来避免这些问题。我们将从基础概念入手,逐步深入到具体的代码示例,帮助开发者更好地理解和应用多线程技术。无论是初学者还是有经验的开发者,都能从中获得有价值的见解和建议。 ####
|
2月前
|
Java 调度
Java中的多线程编程与并发控制
本文深入探讨了Java编程语言中多线程编程的基础知识和并发控制机制。文章首先介绍了多线程的基本概念,包括线程的定义、生命周期以及在Java中创建和管理线程的方法。接着,详细讲解了Java提供的同步机制,如synchronized关键字、wait()和notify()方法等,以及如何通过这些机制实现线程间的协调与通信。最后,本文还讨论了一些常见的并发问题,例如死锁、竞态条件等,并提供了相应的解决策略。
72 3
|
2月前
|
开发框架 安全 Java
Java 反射机制:动态编程的强大利器
Java反射机制允许程序在运行时检查类、接口、字段和方法的信息,并能操作对象。它提供了一种动态编程的方式,使得代码更加灵活,能够适应未知的或变化的需求,是开发框架和库的重要工具。
87 4
|
3月前
|
安全 Java 开发者
Java中的多线程编程:从基础到实践
本文深入探讨了Java多线程编程的核心概念和实践技巧,旨在帮助读者理解多线程的工作原理,掌握线程的创建、管理和同步机制。通过具体示例和最佳实践,本文展示了如何在Java应用中有效地利用多线程技术,提高程序性能和响应速度。
95 1

热门文章

最新文章