开发者社区> 杨俊明> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

hadoop: hdfs API示例

简介: 利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图: 为了方便操作,将常用的文件读写操作封装了一个工具类: 1 import org.
+关注继续查看

利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图:

点击查看大图

为了方便操作,将常用的文件读写操作封装了一个工具类:

  1 import org.apache.hadoop.conf.Configuration;
  2 import org.apache.hadoop.fs.*;
  3 import org.apache.hadoop.io.IOUtils;
  4 
  5 import java.io.ByteArrayOutputStream;
  6 import java.io.IOException;
  7 import java.io.InputStream;
  8 import java.io.OutputStream;
  9 
 10 /**
 11  * HDFS工具类
 12  * Author: 菩提树下的杨过(http://yjmyzz.cnblogs.com)
 13  * Since: 2015-05-21
 14  */
 15 public class HDFSUtil {
 16 
 17 
 18     private HDFSUtil() {
 19 
 20     }
 21 
 22     /**
 23      * 判断路径是否存在
 24      *
 25      * @param conf
 26      * @param path
 27      * @return
 28      * @throws IOException
 29      */
 30     public static boolean exits(Configuration conf, String path) throws IOException {
 31         FileSystem fs = FileSystem.get(conf);
 32         return fs.exists(new Path(path));
 33     }
 34 
 35     /**
 36      * 创建文件
 37      *
 38      * @param conf
 39      * @param filePath
 40      * @param contents
 41      * @throws IOException
 42      */
 43     public static void createFile(Configuration conf, String filePath, byte[] contents) throws IOException {
 44         FileSystem fs = FileSystem.get(conf);
 45         Path path = new Path(filePath);
 46         FSDataOutputStream outputStream = fs.create(path);
 47         outputStream.write(contents);
 48         outputStream.close();
 49         fs.close();
 50     }
 51 
 52     /**
 53      * 创建文件
 54      *
 55      * @param conf
 56      * @param filePath
 57      * @param fileContent
 58      * @throws IOException
 59      */
 60     public static void createFile(Configuration conf, String filePath, String fileContent) throws IOException {
 61         createFile(conf, filePath, fileContent.getBytes());
 62     }
 63 
 64     /**
 65      * @param conf
 66      * @param localFilePath
 67      * @param remoteFilePath
 68      * @throws IOException
 69      */
 70     public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {
 71         FileSystem fs = FileSystem.get(conf);
 72         Path localPath = new Path(localFilePath);
 73         Path remotePath = new Path(remoteFilePath);
 74         fs.copyFromLocalFile(true, true, localPath, remotePath);
 75         fs.close();
 76     }
 77 
 78     /**
 79      * 删除目录或文件
 80      *
 81      * @param conf
 82      * @param remoteFilePath
 83      * @param recursive
 84      * @return
 85      * @throws IOException
 86      */
 87     public static boolean deleteFile(Configuration conf, String remoteFilePath, boolean recursive) throws IOException {
 88         FileSystem fs = FileSystem.get(conf);
 89         boolean result = fs.delete(new Path(remoteFilePath), recursive);
 90         fs.close();
 91         return result;
 92     }
 93 
 94     /**
 95      * 删除目录或文件(如果有子目录,则级联删除)
 96      *
 97      * @param conf
 98      * @param remoteFilePath
 99      * @return
100      * @throws IOException
101      */
102     public static boolean deleteFile(Configuration conf, String remoteFilePath) throws IOException {
103         return deleteFile(conf, remoteFilePath, true);
104     }
105 
106     /**
107      * 文件重命名
108      *
109      * @param conf
110      * @param oldFileName
111      * @param newFileName
112      * @return
113      * @throws IOException
114      */
115     public static boolean renameFile(Configuration conf, String oldFileName, String newFileName) throws IOException {
116         FileSystem fs = FileSystem.get(conf);
117         Path oldPath = new Path(oldFileName);
118         Path newPath = new Path(newFileName);
119         boolean result = fs.rename(oldPath, newPath);
120         fs.close();
121         return result;
122     }
123 
124     /**
125      * 创建目录
126      *
127      * @param conf
128      * @param dirName
129      * @return
130      * @throws IOException
131      */
132     public static boolean createDirectory(Configuration conf, String dirName) throws IOException {
133         FileSystem fs = FileSystem.get(conf);
134         Path dir = new Path(dirName);
135         boolean result = fs.mkdirs(dir);
136         fs.close();
137         return result;
138     }
139 
140     /**
141      * 列出指定路径下的所有文件(不包含目录)
142      *
143      * @param conf
144      * @param basePath
145      * @param recursive
146      */
147     public static RemoteIterator<LocatedFileStatus> listFiles(FileSystem fs, String basePath, boolean recursive) throws IOException {
148 
149         RemoteIterator<LocatedFileStatus> fileStatusRemoteIterator = fs.listFiles(new Path(basePath), recursive);
150 
151         return fileStatusRemoteIterator;
152     }
153 
154     /**
155      * 列出指定路径下的文件(非递归)
156      *
157      * @param conf
158      * @param basePath
159      * @return
160      * @throws IOException
161      */
162     public static RemoteIterator<LocatedFileStatus> listFiles(Configuration conf, String basePath) throws IOException {
163         FileSystem fs = FileSystem.get(conf);
164         RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(new Path(basePath), false);
165         fs.close();
166         return remoteIterator;
167     }
168 
169     /**
170      * 列出指定目录下的文件\子目录信息(非递归)
171      *
172      * @param conf
173      * @param dirPath
174      * @return
175      * @throws IOException
176      */
177     public static FileStatus[] listStatus(Configuration conf, String dirPath) throws IOException {
178         FileSystem fs = FileSystem.get(conf);
179         FileStatus[] fileStatuses = fs.listStatus(new Path(dirPath));
180         fs.close();
181         return fileStatuses;
182     }
183 
184 
185     /**
186      * 读取文件内容
187      *
188      * @param conf
189      * @param filePath
190      * @return
191      * @throws IOException
192      */
193     public static String readFile(Configuration conf, String filePath) throws IOException {
194         String fileContent = null;
195         FileSystem fs = FileSystem.get(conf);
196         Path path = new Path(filePath);
197         InputStream inputStream = null;
198         ByteArrayOutputStream outputStream = null;
199         try {
200             inputStream = fs.open(path);
201             outputStream = new ByteArrayOutputStream(inputStream.available());
202             IOUtils.copyBytes(inputStream, outputStream, conf);
203             fileContent = outputStream.toString();
204         } finally {
205             IOUtils.closeStream(inputStream);
206             IOUtils.closeStream(outputStream);
207             fs.close();
208         }
209         return fileContent;
210     }
211 }
View Code

简单的测试了一下:

 1     @Test
 2     public void test() throws IOException {
 3         Configuration conf = new Configuration();
 4         String newDir = "/test";
 5         //01.检测路径是否存在 测试
 6         if (HDFSUtil.exits(conf, newDir)) {
 7             System.out.println(newDir + " 已存在!");
 8         } else {
 9             //02.创建目录测试
10             boolean result = HDFSUtil.createDirectory(conf, newDir);
11             if (result) {
12                 System.out.println(newDir + " 创建成功!");
13             } else {
14                 System.out.println(newDir + " 创建失败!");
15             }
16         }
17         String fileContent = "Hi,hadoop. I love you";
18         String newFileName = newDir + "/myfile.txt";
19 
20         //03.创建文件测试
21         HDFSUtil.createFile(conf, newFileName, fileContent);
22         System.out.println(newFileName + " 创建成功");
23 
24         //04.读取文件内容 测试
25         System.out.println(newFileName + " 的内容为:\n" + HDFSUtil.readFile(conf, newFileName));
26 
27         //05. 测试获取所有目录信息
28         FileStatus[] dirs = HDFSUtil.listStatus(conf, "/");
29         System.out.println("--根目录下的所有子目录---");
30         for (FileStatus s : dirs) {
31             System.out.println(s);
32         }
33 
34         //06. 测试获取所有文件
35         FileSystem fs = FileSystem.get(conf);
36         RemoteIterator<LocatedFileStatus> files = HDFSUtil.listFiles(fs, "/", true);
37         System.out.println("--根目录下的所有文件---");
38         while (files.hasNext()) {
39             System.out.println(files.next());
40         }
41         fs.close();
42 
43         //删除文件测试
44         boolean isDeleted = HDFSUtil.deleteFile(conf, newDir);
45         System.out.println(newDir + " 已被删除");
46 
47     }
View Code

注:测试时,不要忘记了在resources目录下放置core-site.xml文件,不然IDE环境下,代码不知道去连哪里的HDFS

输出结果:

/test 已存在!
/test/myfile.txt 创建成功
/test/myfile.txt 的内容为:
Hi,hadoop. I love you
--根目录下的所有子目录---
FileStatus{path=hdfs://172.28.20.102:9000/jimmy; isDirectory=true; modification_time=1432176691550; access_time=0; owner=hadoop; group=supergroup; permission=rwxrwxrwx; isSymlink=false}
FileStatus{path=hdfs://172.28.20.102:9000/test; isDirectory=true; modification_time=1432181331362; access_time=0; owner=jimmy; group=supergroup; permission=rwxr-xr-x; isSymlink=false}
FileStatus{path=hdfs://172.28.20.102:9000/user; isDirectory=true; modification_time=1431931797244; access_time=0; owner=hadoop; group=supergroup; permission=rwxr-xr-x; isSymlink=false}
--根目录下的所有文件---
LocatedFileStatus{path=hdfs://172.28.20.102:9000/jimmy/input/README.txt; isDirectory=false; length=1366; replication=1; blocksize=134217728; modification_time=1431922483851; access_time=1432174134018; owner=hadoop; group=supergroup; permission=rw-r--r--; isSymlink=false}
LocatedFileStatus{path=hdfs://172.28.20.102:9000/jimmy/output/_SUCCESS; isDirectory=false; length=0; replication=3; blocksize=134217728; modification_time=1432176692454; access_time=1432176692448; owner=jimmy; group=supergroup; permission=rw-r--r--; isSymlink=false}
LocatedFileStatus{path=hdfs://172.28.20.102:9000/jimmy/output/part-r-00000; isDirectory=false; length=1306; replication=3; blocksize=134217728; modification_time=1432176692338; access_time=1432176692182; owner=jimmy; group=supergroup; permission=rw-r--r--; isSymlink=false}
LocatedFileStatus{path=hdfs://172.28.20.102:9000/test/myfile.txt; isDirectory=false; length=21; replication=3; blocksize=134217728; modification_time=1432181331601; access_time=1432181331362; owner=jimmy; group=supergroup; permission=rw-r--r--; isSymlink=false}
/test 已被删除

用spring-mvc结合hdfs api仿造hadoop的文件浏览管理界面,做了一个山寨版:(只完成了文件列表功能)

点击查看大图

源代码托管在taobao开源平台上了,有需要的可以参考下:

http://code.taobao.org/p/hdfs-web-client/src/trunk/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
hadoop hdfs、yarn 群起脚本
hadoop hdfs、yarn 群起脚本
0 0
hadoop启动hdfs异常
hadoop启动hdfs异常
0 0
Hadoop原理与技术——hdfs命令行基本操作
Hadoop原理与技术——hdfs命令行基本操作
0 0
hadoop安装使用的命令+linux基本操作命令+HDFS常用命令
一、Hadoop基本安装主要包括以下6个步骤: 1.创建Hadoop用户。 2.更新apt和安装Vim编辑器。 3.安装SSH和配置SSH无密码登录。 4.安装Java环境。 5.安装单机Hadoop。 6.HDFS:启动
0 0
Hadoop简述及HDFS集群搭建详解
Hadoop简述及HDFS集群搭建详解
0 0
第2章 Hadoop分布式文件系统HDFS
第2章 Hadoop分布式文件系统HDFS
0 0
CDH 搭建_ Hadoop _ HDFS _主节点|学习笔记
快速学习 CDH 搭建_ Hadoop _ HDFS _主节点
0 0
CDH 搭建_ Hadoop _ HDFS _从节点和总结|学习笔记
快速学习 CDH 搭建_ Hadoop _ HDFS _从节点和总结
0 0
Azkaban--使用实战--hadoop 调度(hdfs、mapreduce) | 学习笔记
快速学习 Azkaban--使用实战--hadoop 调度(hdfs、mapreduce)
0 0
+关注
杨俊明
菩提树下的杨过 http://yjmyzz.cnblogs.com/
文章
问答
文章排行榜
最热
最新
相关电子书
更多
海量数据分布式存储——Apache HDFS之最新进展
立即下载
Hadoop的过去现在和未来
立即下载
\"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
立即下载