IntelliJ IDEA实现Hadoop读写HDFS文件（非Maven、离线版）

2022-06-16 685

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： IntelliJ IDEA实现Hadoop读写HDFS文件（非Maven、离线版）

0x00 教程内容

新建Java项目
编写HDFS读写代码
打包到服务器执行

实验前提：

a. 安装好了JDK

0x01 新建Java项目

1. 新建Java项目

a. 新建一个Java项目，配置好Project SDK，然后Next，Next，起个有意义的项目名hadoop-project：

b. 如果有提示，可以随便选一个

2. 项目配置

a. 右击src，建一个包，比如：com.shaonaiyi

b. 然后编辑项目结构，确保我们的SDKS已经配置上了我们的JDK（找到我们win本地的JDK主目录即可）：

导入之后点击OK

c. 导入我们的HDFS依赖的jar包，一个是公共包，一个是HDFS的依赖包（然后OK）：

0x02 编写HDFS代码

1. 编写写HDFS代码

a. 新建一个WriteFile类

b. 编写WriteFile类代码：

package com.shaonaiyi;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
public class WriteFile {
    public static void main(String[] args) throws IOException {
        String content = "Hello,shaonaiyi!\n";
        String dest = "hdfs://master:9999/test.txt";
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
        FSDataOutputStream out = fileSystem.create(new Path(dest));
        out.write(content.getBytes("UTF-8"));
        out.close();
    }
}

2. 编写读HDFS代码

a. 新建一个ReadFile类

b. 编写ReadFile类代码：

package com.shaonaiyi;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.*;
import java.net.URI;
public class ReadFile {
    public static void main(String[] args) throws IOException {
        String dest = "hdfs://master:9999/test.txt";
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration);
        FSDataInputStream in = fileSystem.open(new Path(dest));
        BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in));
        String line = null;
        while ((line = bufferedReader.readLine()) != null) {
            System.out.println(line);
        }
        in.close();
    }
}