【大数据开发技术】实验02-HDFS常用shell命令

简介: 【大数据开发技术】实验02-HDFS常用shell命令

HDFS常用shell命令

一、实验目标

  1. 掌握hadoop操作指令及HDFS命令行接口
  2. 掌握HDFS原理

二、实验要求

  1. 给出每个实验操作步骤成功的效果截图,。
  2. 对本次实验工作进行全面的总结。
  3. 完成实验内容后,实验报告文件重命名为:学号姓名实验二。

三、实验内容

1.列出某个目录下的文件

2.递归列出某目录及文件

3.创建目录,目录名自拟,查看创建的目录及文件

4.创建级联目录,递归查看

5.在本地新建一个文件,文件名和文件内容自拟,然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS

6.分别使用命令-get和-copyToLoca从HDFS上传下载某个文件,

7.删除HDFS上某个文件

8.递归删除某个文件夹下所有文件和目录

9.查看HDFS上某个文件内容

10.统计HDFS上某个文件的大小

四、实验步骤

  1. 列出某个目录下的文件
hadoop fs -ls /

  1. 递归列出某目录及文件
hadoop fs -ls -R /

  1. 创建目录,目录名自拟,查看创建的目录及文件
hadoop fs -mkdir /wjw

  1. 创建级联目录,递归查看
hadoop fs -mkdir -p /wjw01/wjw02
  1. 在本地新建一个文件,文件名和文件内容自拟,然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS
hadoop fs -put test01 /
hadoop fs -copyFromLocal test02 /

  1. 分别使用命令-get和-copyToLoca从HDFS上传下载某个文件,
hadoop fs -get /test01 /home/zkpk
hadoop fs -copyToLocal /test02/home/zkpk

  1. 删除HDFS上某个文件
hadoop fs -rm /wjw.txt

  1. 递归删除某个文件夹下所有文件和目录
hadoop fs -rmr /wjw01/wjw02
  1. 查看HDFS上某个文件内容
hadoop fs -cat wjw.txt
  1. 统计HDFS上某个文件的大小
hadoop fs -du wjw.txt


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
886 4
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
3368 0
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
1641 0
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
1289 5
|
分布式计算 Hadoop Shell
Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
-help:-mkdir:-moveFromLocal:-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去、-put:等同于copyFromLocal,生产环境更习惯用put、-appendToFile:追加一个文件到已经存在的文件末尾、-copyToLocal:从HDFS拷贝到本地、-get:等同于copyToLocal,-ls: -cat:-chgrp、-chmod、-chown:-mkdir:-cp:-mv:-tail:-rm:-rm -r:-du:-setrep:......
655 1
Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
|
存储 分布式计算 Hadoop
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
276 0
Hadoop快速入门——第二章、分布式集群(第三节、HDFS Shell的常用命令)
|
Shell
HDFS的shell命令
文件系统(FS)的shell命令bin/hdfs dfs 对文件进行操作 说明:所有的FS的shell命令都是以url作为参数。格式: URI格式是scheme://authority/path。
1221 0
|
分布式计算 Hadoop Shell