上传本地文件到HDFS

简介: 源代码: import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.

源代码:

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class UploadFile {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		//conf.addResource(new Path("conf/hadoop-default.xml"));
		//conf.addResource(new Path("conf/hadoop-site.xml"));
		//通过conf来指定要操作的HDFS
		FileSystem hdfs = FileSystem.get(conf);
		//要上传的源文件所在路径
		Path src = new Path("D:\\v.txt");
		//hadoop文件系统的跟目录
		Path dst = new Path("/");
		//将源文件copy到hadoop文件系统
		hdfs.copyFromLocalFile(src, dst);
		System.out.println("上传到"+conf.get("fs.default.name"));
		FileStatus files[] = hdfs.listStatus(dst);
		for(int i=0;i<files.length;i++)
		{
			System.out.println(files[i].getPath());
		}
	}
}

还需要一个jar包:http://download.csdn.net/detail/lixiaolun/9227851

如果报Configuration错误,需要再下一个commons-logging.jar。网上随便就能搜到。

还有现成的java代码,不需要导入jar报:http://download.csdn.net/detail/lixiaolun/9227879

目录
相关文章
|
4月前
|
分布式计算 Hadoop
|
SQL 数据采集 监控
实时读取本地文件到 HDFS 案例分析 | 学习笔记
快速学习实时读取本地文件到 HDFS 案例分析。
142 0
实时读取本地文件到 HDFS 案例分析 | 学习笔记
|
分布式计算 大数据 Hadoop
[大数据]本地文件拷贝到hdfs
创建文件夹: hadoop fs -mkdir /work 拷贝: hadoop fs -put /Users/yp/Documents/test.
1461 0
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
131 6
|
1月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
59 3
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
32 4
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
71 5
|
1月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
34 4
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
141 5
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
84 3