hadoop实验:
HDFS Java API编程
实验目的:
1、理解HDFS Java API编程原理;
2、掌握HDFS的命令;
3、掌握Elipse远程调试Hadoop程序的方法;
4、掌握HDFS基本的API调用方法。
实验任务:
能够完成eclipse安装及环境搭建
能够编写hdfs基本操作代码并打包到linux上运行
掌握HDFS的命令
掌握Eclipse 远程调试Hadoop程序的方法
实验记录:
打开eclipse完成创建
File->New->other->
选择Map/Reduce Project->next
配置hadoop安装路径
输入项目名:hdfs-hadoop127
新建package:hdfsapi
在包下面新建第一个测试类操作hdfs:
此时打开虚拟机开启集群:
运行程序(在hdfs上指定/home路径下新建一个文件夹test45)
显示运行成功
查看hdfs执行结果
将运行成功的文件打包成jar包
对要打包的文件右键
Export->java->jar-file->next->Browse
选择打包的路径
完成点击finish
指定打包路径查看打好的jar包
打开xftp文件传输
将window上的jar包拖到Linux上指定位置即可
在Linux上面查看jar包文件
为了验证的准确性,我们可以删除刚才新建的test45文件夹:
完成删除只剩下一个simon
在Linux上面执行jar包 此时会有一个报错 发现eclipse使用的JDK版本和Linux运行的JDK版本不一致导致不兼容问题 解决方法: 修改eclipse运行的JDK版本(Linux使用JDK为1.7) 重新打包文件再次运行 查看运行结果: 成功执行完成文件夹创建 继续执行下一个测试文件(在test45文件夹下面新建一个hello.txt文件并写入数据) |
执行成功!查看网页端: 数据写入成功 将文件打包 将打好的jar包上传到Linux 删除web端文件验证Linux执行文件 执行后 Web端 打包其他同样的java测试文件 继续验证文本追加 Linux执行jar包 Web端验证数据是否写入成功! |