分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)

简介: 分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)

分布式系统详解--框架(Hadoop--JAVA操作HDFS文件)

       前面的文章介绍了怎么将整个集群系统搭建起来,并进行了有效的测试。为了解决登录一台服务器登录其他服务器需要多次输入密码的问题,提供了SSH免密码登录解决方案。还有一些hadoop的简单操作shell命令。今天我们就结合eclipse来用JAVA语言来读取和操作我们的hadoop文件系统中的文件。

一、POM文件

1.1 让我们来先看一下mvnrepository里面关于hadoop中的JAR包

1.2 需要引进的JAR包。

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.5</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.7.5</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.7.5</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>2.7.5</version>
    </dependency>
      <dependency>
      <groupId>jdk.tools</groupId>
      <artifactId>jdk.tools</artifactId>
      <version>1.8</version>
      <scope>system</scope>
      <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>

二、代码

2.1 前提我先在hdfs dfs 系统根目录下建立一个test文件夹,将README.txt复制了进去。

2.2 查看文件

/**
 * 
 */
package com.yuyi.hadoop;
 
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
 
/**
 * @author mcb
 *
 *         2018年10月11日 下午5:49:28
 */
public class ReadFileToConSoleTest {
 
  public static void main(String[] args) throws Exception {
    // 该路径为你想获取的文件的路径,就是想着读取那一个文件
    String filePath = "/test/README.txt";
    readFileToConSole(filePath);
//    readFileToLocal(filePath);
    localToHDFS();
  }
 
  static FileSystem fs = null;
  static {
    Configuration conf =new Configuration();
    try {
      fs = FileSystem.get(new URI("hdfs://192.168.71.233:8020"), conf, "root");
    } catch (IOException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    } catch (InterruptedException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    } catch (URISyntaxException e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
    }
  }
 
  // 文件读取
  public static void readFileToConSole(String filePath) throws Exception {
    // 获取配置
    Configuration conf = new Configuration();
    // 配置
    conf.set("fs.defaultFS", "hdfs://192.168.71.233:8020");
    // 获取hdfs文件系统的操作对象
    FileSystem fs = FileSystem.get(conf);
    // 具体对文件操作
    FSDataInputStream fin = fs.open(new Path(filePath));
    // 输入流读取,读出到何处,读出大小和是否关闭
    IOUtils.copyBytes(fin, System.out, 4096, true);
  }
 
  // 文件下载到本地
  public static void readFileToLocal(String filePath) throws Exception {
 
    FSDataInputStream fin = null;
    OutputStream out = null;
    try {
      // 获取配置
      Configuration conf = new Configuration();
      // 配置
      // conf.set("fs.defaultFS", "hdfs://192.168.71.233:8020");
      // 获取hdfs文件系统的操作对象
      FileSystem fs = FileSystem.get(new URI("hdfs://192.168.71.233:8020"), conf, "root");
      // 具体对文件操作
      fin = fs.open(new Path(filePath));
 
      out = new FileOutputStream(new File("F:\\hadoop\\testout\\a.txt"));
      // 输入流读取,读出到何处,读出大小和是否关闭
      IOUtils.copyBytes(fin, out, 4096, true);
    } catch (Exception e) {
      // TODO 自动生成的 catch 块
      e.printStackTrace();
 
    } finally {
      fin.close();
      out.close();
    }
  }
 
  // 文件从本地上传到hdfs系统中
  public static void localToHDFS() throws IllegalArgumentException, IOException {
    String localPath="F:\\hadoop\\testout";
    String hdfsPath="/test/b.txt";
    fs.copyFromLocalFile(new Path(localPath), new Path(hdfsPath));
    System.out.println("传输完成~~");
    
    
  }
 
}

目录
相关文章
|
2天前
|
分布式计算 Hadoop
hadoop格式化HDFS问题
【7月更文挑战第15天】
21 12
|
1天前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时,无法在所有指定的数据节点上进行复制,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
14天前
|
Java API 开发者
Java中的文件I/O操作详解
Java中的文件I/O操作详解
|
13天前
|
Java
Java之file,创建文件,File f1 = new File(“E:\\itcast\\java.txt“),先f1定路径,在f1.createNewFile()就能够创建文件,mkdir目录
Java之file,创建文件,File f1 = new File(“E:\\itcast\\java.txt“),先f1定路径,在f1.createNewFile()就能够创建文件,mkdir目录
|
15天前
|
Java
Error:java: 错误: 无效的源发行版:13, 类文件具有错误的版本 61.0, 应为 55.0 请删除该文件或确保该文件位于正确的类路径子目录中。
Error:java: 错误: 无效的源发行版:13, 类文件具有错误的版本 61.0, 应为 55.0 请删除该文件或确保该文件位于正确的类路径子目录中。
|
16天前
|
Java
如何在Java中优雅地处理大文件?
如何在Java中优雅地处理大文件?
|
17天前
|
Java
用java 将 jb2 文件转图片的方法
用java 将 jb2 文件转图片的方法
|
1月前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
88 2
|
1月前
|
存储 分布式计算 Hadoop
Spark和Hadoop都是大数据处理领域的重要工具
【6月更文挑战第17天】Spark和Hadoop都是大数据处理领域的重要工具
133 59
|
17天前
|
分布式计算 Hadoop Java
优化大数据处理:Java与Hadoop生态系统集成
优化大数据处理:Java与Hadoop生态系统集成

热门文章

最新文章