章节内容
上一节完成:
HDFS的简介内容
HDFS基础原理
HDFS读文件流程
HDFS写文件流程
背景介绍
这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。
注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!
请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!
但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:
2C4G 编号 h121
2C4G 编号 h122
2C2G 编号 h123
基础语法
hadoop fs
启动集群
start-dfs.sh start-yarn.sh • 1 • 2
查看目录
hadoop fs -ls / • 1
创建目录
hadoop fs -mkdir -p /wzk/test • 1
上传文件
hadoop fs -moveFromLocal ./1.txt /wzk/test hadoop fs -ls / hadoop fs -ls /wzk/test • 1 • 2 • 3
下载文件
hadoop fs -copyToLocal /wzk/test/1.txt ./ • 1
查看文件
hadoop fs -cat /wzk/test/1.txt • 1
CP操作
hadoop fs -cp /wzk/test/1.txt /1.txt • 1
MV操作
hadoop fs -mv /1.txt /wzk/test/ • 1
GET操作
hadoop fs -get /wzk/test/1.txt ./ • 1
PUT操作
hadoop fs -put ./1.txt /wzk/test • 1
删除文件
hadoop fs -rm /wzk/test
删除空目录
hadoop fs -mkdir /wzk01 hadoop fs -rmdir /wzk01