Hadoop快速入门——第二章、分布式集群
HDFS概述:
在 2002 年， Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统， HDFS 就是为了实现这一目标
HDFS 的设计特点如下
超大文件
流式数据访问
商用硬件
不能处理低时间延迟的数据访问
不能存放大量小文件
无法高效实现多用户写入或者任意修改文件
在 2002 年， Google 发表的论文 GFS 中提到希望构建一个能够运行于商业硬件集群上的以流式数据访问形式存储超大文件的文件系统， HDFS 就是为了实现这一目标
HDFS 的设计特点如下
超大文件
流式数据访问
商用硬件
不能处理低时间延迟的数据访问
不能存放大量小文件
无法高效实现多用户写入或者任意修改文件
常用命令：
hadoop fs -mkdir <paths>
示例：
Mkdir:创建路径中的各级父目录(-p可以创建多级文件夹)
hadoop fs -mkdir -p /user/hadoop/test1
put:从本地文件系统中复制单个或多个源路径到目标文件系统。
get:复制文件到本地文件系统
hadoop fs -get /home/data/save.log newSave.log
mv:移动文件
hadoop fs -mv /home/data/save.log /user/hadoop/newSave.log
cat:输出文件内容
hadoop fs -cat /user/hadoop/newSave.log
ls:返回文件或目录列表信息
hadoop fs -ls /user/hadoop/
ls -R:递归返回文件或目录列表信息
hadoop fs -ls -R /user
touchz:创建一个 0 字节的空文件
hadoop fs -touchz /hello1.log hadoop fs -touchz /hello2.log hadoop fs -touchz /hello3.log hadoop fs -touchz /hello4.log hadoop fs -touchz /hello5.log
chown:改变文件的拥有者
vi test.sh
hadoop fs -put test.sh /home/test.sh hadoop fs -ls /home/
修改用户，可以看到从【root】改为【hadoop】
hadoop fs -chown hadoop /home/test.sh hadoop fs -ls /home/
tail :将文件尾部 1K 字节的内容输出
hadoop fs -tail /home/test.sh
rm -r:删除指定的文件
hadoop fs -rm /home/test.sh
删除后已经无法再次查看文件了。
