hdfs的客户端操作
hdfs--分布式文件系统
功能:帮用户管理文件 机制:用户的文件会被切块后存储在多台Datanode服务器中, 并且每个文件块都会在整个集群中存储多个副本。 副本的数量可以由用户指定;
总而言之,hdfs:
对用户提供一个统一的目录树。 存储用户的文件时:会切成若干文件块分布式地存储到多台Datanode服务器中 Datanode软件存储用户的文件块时,是存在Datanode所运行服务器的本地磁盘目录中; 用户的文件块可以存储多个副本,以增强数据的安全性; 用户的文件块位置信息,记录在Namenode软件中
客户端的理解
hdfs的客户端有多种形式:
- 网页形式
- 命令行形式
- 客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网
文件的切块大小和存储的副本数量,都是由客户端决定!
所谓的由客户端决定,是通过配置参数来定的 hdfs的客户端会读以下两个参数,来决定切块大小、副本数量: 切块大小的参数: dfs.blocksize 副本数量的参数: dfs.replication
上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置
<property> <name>dfs.blocksize</name> <value>64m</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>
hdfs客户端的常用操作命令
上传文件到hdfs中(以128M为单位,分割保存)
hadoop fs -put /本地文件 /aaa
下载文件到客户端本地磁盘
hadoop fs -get /hdfs中的路径 /本地磁盘目录
在hdfs中创建文件夹
hadoop fs -mkdir -p /aaa/xxx
移动hdfs中的文件(更名)
hadoop fs -mv /hdfs的路径1 /hdfs的另一个路径2
复制hdfs中的文件到hdfs的另一个目录
hadoop fs -cp /hdfs路径_1 /hdfs路径_2
删除hdfs中的文件或文件夹
hadoop fs -rm -r /aaa
查看hdfs中的文本文件内容
hadoop fs -cat /demo.txt hadoop fs -tail -f /demo.txt
查看hdfs的根目录
hadoop fs -ls /