HDFS中JAVA API的使用

简介:

  HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。

  对分HDFS中的文件操作主要涉及一下几个类:

  Configuration类:该类的对象封转了客户端或者服务器的配置。

  FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。

  FSDataInputStream和FSDataOutputStream:这两个类是HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。

具体如何对文件操作清下下面例子:

  1 package com.hdfs;
  2
  3 import java.io.FileInputStream;
  4 import java.io.IOException;
  5 import java.io.InputStream;
  6
  7 import org.apache.hadoop.conf.Configuration;
  8 import org.apache.hadoop.fs.FSDataOutputStream;
  9 import org.apache.hadoop.fs.FileStatus;
 10 import org.apache.hadoop.fs.FileSystem;
 11 import org.apache.hadoop.fs.Path;
 12 import org.apache.hadoop.io.IOUtils;
 13
 14 public class HdfsTest {
 15
 16     //创建新文件
 17     public static void createFile(String dst , byte[] contents) throws IOException{
 18         Configuration conf = new Configuration();
 19         FileSystem fs = FileSystem.get(conf);
 20         Path dstPath = new Path(dst); //目标路径
 21         //打开一个输出流
 22         FSDataOutputStream outputStream = fs.create(dstPath);
 23         outputStream.write(contents);
 24         outputStream.close();
 25         fs.close();
 26         System.out.println(“文件创建成功!”);
 27     }
 28
 29     //上传本地文件
 30     public static void uploadFile(String src,String dst) throws IOException{
 31         Configuration conf = new Configuration();
 32         FileSystem fs = FileSystem.get(conf);
 33         Path srcPath = new Path(src); //原路径
 34         Path dstPath = new Path(dst); //目标路径
 35         //调用文件系统的文件复制函数,前面参数是指是否删除原文件,true为删除,默认为false
 36         fs.copyFromLocalFile(false,srcPath, dstPath);
 37
 38         //打印文件路径
 39         System.out.println(“Upload to “+conf.get(“fs.default.name”));
 40         System.out.println(“————list files————“+”\n”);
 41         FileStatus [] fileStatus = fs.listStatus(dstPath);
 42         for (FileStatus file : fileStatus)
 43         {
 44             System.out.println(file.getPath());
 45         }
 46         fs.close();
 47     }
 48
 49     //文件重命名
 50     public static void rename(String oldName,String newName) throws IOException{
 51         Configuration conf = new Configuration();
 52         FileSystem fs = FileSystem.get(conf);
 53         Path oldPath = new Path(oldName);
 54         Path newPath = new Path(newName);
 55         boolean isok = fs.rename(oldPath, newPath);
 56         if(isok){
 57             System.out.println(“rename ok!”);
 58         }else{
 59             System.out.println(“rename failure”);
 60         }
 61         fs.close();
 62     }
 63     //删除文件
 64     public static void delete(String filePath) throws IOException{
 65         Configuration conf = new Configuration();
 66         FileSystem fs = FileSystem.get(conf);
 67         Path path = new Path(filePath);
 68         boolean isok = fs.deleteOnExit(path);
 69         if(isok){
 70             System.out.println(“delete ok!”);
 71         }else{
 72             System.out.println(“delete failure”);
 73         }
 74         fs.close();
 75     }
 76
 77     //创建目录
 78     public static void mkdir(String path) throws IOException{
 79         Configuration conf = new Configuration();
 80         FileSystem fs = FileSystem.get(conf);
 81         Path srcPath = new Path(path);
 82         boolean isok = fs.mkdirs(srcPath);
 83         if(isok){
 84             System.out.println(“create dir ok!”);
 85         }else{
 86             System.out.println(“create dir failure”);
 87         }
 88         fs.close();
 89     }
 90
 91     //读取文件的内容
 92     public static void readFile(String filePath) throws IOException{
 93         Configuration conf = new Configuration();
 94         FileSystem fs = FileSystem.get(conf);
 95         Path srcPath = new Path(filePath);
 96         InputStream in = null;
 97         try {
 98             in = fs.open(srcPath);
 99             IOUtils.copyBytes(in, System.out, 4096, false); //复制到标准输出流
100         } finally {
101             IOUtils.closeStream(in);
102         }
103     }
104
105
106     public static void main(String[] args) throws IOException {
107         //测试上传文件
108         //uploadFile(“D:\c.txt”, “/user/hadoop/test/“);
109         //测试创建文件
110         /byte[] contents =  “hello world 世界你好\n”.getBytes();
111         createFile(“/user/hadoop/test1/d.txt”,contents);/
112         //测试重命名
113         //rename(“/user/hadoop/test/d.txt”, “/user/hadoop/test/dd.txt”);
114         //测试删除文件
115         //delete(“test/dd.txt”); //使用相对路径
116         //delete(“test1”);    //删除目录
117         //测试新建目录
118         //mkdir(“test1”);
119         //测试读取文件
120         readFile(“test1/d.txt”);
121     }
122
123 }

相关文章
|
14天前
|
JSON Java 数据挖掘
利用 Java 代码获取淘宝关键字 API 接口
在数字化商业时代,精准把握市场动态与消费者需求是企业成功的关键。淘宝作为中国最大的电商平台之一,其海量数据中蕴含丰富的商业洞察。本文介绍如何通过Java代码高效、合规地获取淘宝关键字API接口数据,帮助商家优化产品布局、制定营销策略。主要内容包括: 1. **淘宝关键字API的价值**:洞察用户需求、优化产品标题与详情、制定营销策略。 2. **获取API接口的步骤**:注册账号、申请权限、搭建Java开发环境、编写调用代码、解析响应数据。 3. **注意事项**:遵守法律法规与平台规则,处理API调用限制。 通过这些步骤,商家可以在激烈的市场竞争中脱颖而出。
|
1月前
|
Java
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
java实现从HDFS上下载文件及文件夹的功能,以流形式输出,便于用户自定义保存任何路径下
104 34
|
1月前
|
JSON Java Apache
Java基础-常用API-Object类
继承是面向对象编程的重要特性,允许从已有类派生新类。Java采用单继承机制,默认所有类继承自Object类。Object类提供了多个常用方法,如`clone()`用于复制对象,`equals()`判断对象是否相等,`hashCode()`计算哈希码,`toString()`返回对象的字符串表示,`wait()`、`notify()`和`notifyAll()`用于线程同步,`finalize()`在对象被垃圾回收时调用。掌握这些方法有助于更好地理解和使用Java中的对象行为。
|
1月前
|
算法 Java API
如何使用Java开发获得淘宝商品描述API接口?
本文详细介绍如何使用Java开发调用淘宝商品描述API接口,涵盖从注册淘宝开放平台账号、阅读平台规则、创建应用并申请接口权限,到安装开发工具、配置开发环境、获取访问令牌,以及具体的Java代码实现和注意事项。通过遵循这些步骤,开发者可以高效地获取商品详情、描述及图片等信息,为项目和业务增添价值。
88 10
|
1月前
|
存储 Java 数据挖掘
Java 8 新特性之 Stream API:函数式编程风格的数据处理范式
Java 8 引入的 Stream API 提供了一种新的数据处理方式,支持函数式编程风格,能够高效、简洁地处理集合数据,实现过滤、映射、聚合等操作。
84 6
|
1月前
|
Java API 开发者
Java中的Lambda表达式与Stream API的协同作用
在本文中,我们将探讨Java 8引入的Lambda表达式和Stream API如何改变我们处理集合和数组的方式。Lambda表达式提供了一种简洁的方法来表达代码块,而Stream API则允许我们对数据流进行高级操作,如过滤、映射和归约。通过结合使用这两种技术,我们可以以声明式的方式编写更简洁、更易于理解和维护的代码。本文将介绍Lambda表达式和Stream API的基本概念,并通过示例展示它们在实际项目中的应用。
|
2月前
|
开发框架 Java 关系型数据库
Java哪个框架适合开发API接口?
在快速发展的软件开发领域,API接口连接了不同的系统和服务。Java作为成熟的编程语言,其生态系统中出现了许多API开发框架。Magic-API因其独特优势和强大功能,成为Java开发者优选的API开发框架。本文将从核心优势、实际应用价值及未来展望等方面,深入探讨Magic-API为何值得选择。
93 2
|
2月前
|
安全 Java API
Java中的Lambda表达式与Stream API的高效结合####
探索Java编程中Lambda表达式与Stream API如何携手并进,提升数据处理效率,实现代码简洁性与功能性的双重飞跃。 ####
35 0
|
API 分布式计算 Hadoop
HDFS API的简单使用(1)
<pre name="code" class="java">package cn.framelife.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hado
1368 0
|
分布式计算 Hadoop API
HDFS API的简单使用(2)
<pre name="code" class="java">package cn.framelife.hadoop; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSy
1423 0

热门文章

最新文章