上传本地文件到HDFS

简介: 源代码: import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.

源代码:

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class UploadFile {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		//conf.addResource(new Path("conf/hadoop-default.xml"));
		//conf.addResource(new Path("conf/hadoop-site.xml"));
		//通过conf来指定要操作的HDFS
		FileSystem hdfs = FileSystem.get(conf);
		//要上传的源文件所在路径
		Path src = new Path("D:\\v.txt");
		//hadoop文件系统的跟目录
		Path dst = new Path("/");
		//将源文件copy到hadoop文件系统
		hdfs.copyFromLocalFile(src, dst);
		System.out.println("上传到"+conf.get("fs.default.name"));
		FileStatus files[] = hdfs.listStatus(dst);
		for(int i=0;i<files.length;i++)
		{
			System.out.println(files[i].getPath());
		}
	}
}

还需要一个jar包:http://download.csdn.net/detail/lixiaolun/9227851

如果报Configuration错误,需要再下一个commons-logging.jar。网上随便就能搜到。

还有现成的java代码,不需要导入jar报:http://download.csdn.net/detail/lixiaolun/9227879

目录
相关文章
|
分布式计算 Hadoop
|
SQL 数据采集 监控
实时读取本地文件到 HDFS 案例分析 | 学习笔记
快速学习实时读取本地文件到 HDFS 案例分析。
245 0
实时读取本地文件到 HDFS 案例分析 | 学习笔记
|
分布式计算 大数据 Hadoop
[大数据]本地文件拷贝到hdfs
创建文件夹: hadoop fs -mkdir /work 拷贝: hadoop fs -put /Users/yp/Documents/test.
1653 0
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
1729 70
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1125 6
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
300 3
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
397 5
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
277 4
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
664 5
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
745 5