Hadoop hdfs 的shell操作

简介: Hadoop hdfs 的shell操作
  • 查看环境变量
hadoop fs
  • 文件可视化浏览
  • 打开虚拟机中的火狐浏览器
  • 电脑中的浏览器
  • 命令行查看文件
hadoop fs -ls /
  • 查看文件目录.jpg

将文件从本地上传到Hadoop

  • 在本地新建一个名为dashuju的txt文件
touch dashuju.txt
  • 新建文件.jpg
  • 修改文件内容
  • vim进入文件
vim dashuju.txt
  • 添加内容.jpg
  • i输入内容
  • Esc退出编辑
  • :wq保存
  • cat查看文件内容
cat dashuju.txt
  • 查看文件内容.jpg
  • 在hadoop中创建文件夹
hadoop fs -mkdir-p /taigong/test
  • 根目录 > taigong > test
  • 创建文件夹1.jpg
    创建文件夹2.jpg
  • 将文件上传到新建的文件夹中
语法:
hadoop fs -put 需上传的文件路径 上传到的文件夹路径
示例:
hadoop fs -put dashuju.txt /taigong/test
  • 上传文件1.jpg
    上传文件2.jpg
  • 查看文件及其内容
查看文件:
hadoop fs -ls /taigong/test
查看内容:
hadoop fs -cat /taigong/test/dashuju.txt

查看文件及内容.jpg

将文件从Hadoop下载到本地

  • 下载到本地并命名为Haha
语法:
hadoop fs -get 需要下载的文件路径 下载后的文件路径
示例:
hadoop fs -get /taigong/test/dashuju.txt Haha.txt

下载文件.jpg

移动文件

  • 根目录>taigon>test移动到根目录>user
语法:
hadoop fs -mv 需要移动的文件路径 移动后的文件夹路径
示例:
hadoop fs -mv /taigong/test/dashuju.txt /user

移动文件.jpg

删除文件

  • 将文件夹taigong删除
语法:
hadoop fs -rm-r 需要删除的文件
示例:
hadoop fs -rm-r /taigong

删除文件.jpg

相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
195 6
|
2月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
72 3
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
110 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
51 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
60 0
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
57 4
|
2月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
89 5
|
2月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
39 4
|
2月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
183 5
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
119 3