hadoop HDFS javaAPI编程

简介: hadoop HDFS javaAPI编程

打开eclipse完成创建

File->New->other->

选择Map/Reduce Project->next

配置hadoop安装路径

输入项目名:hdfs-hadoop127

新建package:hdfsapi

在包下面新建第一个测试类操作hdfs:

此时打开虚拟机开启集群:

运行程序(在hdfs上指定/home路径下新建一个文件夹test45)

显示运行成功

查看hdfs执行结果

将运行成功的文件打包成jar包

对要打包的文件右键

Export->java->jar-file->next->Browse

选择打包的路径

完成点击finish

指定打包路径查看打好的jar包

打开xftp文件传输

将window上的jar包拖到Linux上指定位置即可

在Linux上面查看jar包文件

为了验证的准确性,我们可以删除刚才新建的test45文件夹:

完成删除只剩下一个simon

在Linux上面执行jar包

此时会有一个报错

发现eclipse使用的JDK版本和Linux运行的JDK版本不一致导致不兼容问题

解决方法:

修改eclipse运行的JDK版本(Linux使用JDK为1.7)

重新打包文件再次运行

查看运行结果:

成功执行完成文件夹创建

继续执行下一个测试文件(在test45文件夹下面新建一个hello.txt文件并写入数据)

https://blog.csdn.net/qq_58392257/article/details/128738449


相关文章
|
6天前
|
存储 缓存 分布式计算
|
8天前
|
存储 分布式计算 运维
Hadoop重新格式化HDFS的方案
【8月更文挑战第8天】
|
25天前
|
分布式计算 Hadoop
|
28天前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
49 5
|
6天前
|
存储 分布式计算 Hadoop
|
12天前
|
分布式计算 Hadoop 大数据
Spark 与 Hadoop 的大数据之战:一场惊心动魄的技术较量,决定数据处理的霸权归属!
【8月更文挑战第7天】无论是 Spark 的高效内存计算,还是 Hadoop 的大规模数据存储和处理能力,它们都为大数据的发展做出了重要贡献。
35 2
|
12天前
|
存储 SQL 分布式计算
揭秘Hadoop:如何用这个超级工具征服大数据的海洋
【8月更文挑战第7天】Hadoop是一个强大的分布式系统基础架构
24 1
|
2月前
|
存储 分布式计算 Hadoop
Spark和Hadoop都是大数据处理领域的重要工具
【6月更文挑战第17天】Spark和Hadoop都是大数据处理领域的重要工具
152 59
|
20天前
|
分布式计算 Hadoop 大数据
Hadoop与Spark在大数据处理中的对比
【7月更文挑战第30天】Hadoop和Spark在大数据处理中各有优势,选择哪个框架取决于具体的应用场景和需求。Hadoop适合处理大规模数据的离线分析,而Spark则更适合需要快速响应和迭代计算的应用场景。在实际应用中,可以根据数据处理的需求、系统的可扩展性、成本效益等因素综合考虑,选择适合的框架进行大数据处理。
|
22天前
|
存储 分布式计算 Hadoop
阿里巴巴飞天大数据架构体系与Hadoop生态系统的深度融合:构建高效、可扩展的数据处理平台
技术持续创新:随着新技术的不断涌现和应用场景的复杂化,阿里巴巴将继续投入研发力量推动技术创新和升级换代。 生态系统更加完善:Hadoop生态系统将继续扩展和完善,为用户提供更多元化、更灵活的数据处理工具和服务。

相关实验场景

更多