Hadoop常用shell命令

简介: Hadoop常用shell命令

hadoop启动

       ``/hadoop-3.1.3/sbin/start-dfs.sh

       ``/hadoop-3.1.3/sbin/start-yarn.sh

查看所有命令

查看支持的所有命令:

       hadoop fs

查看/目录下所有文件  [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]

       hadoop fs -ls /

新建文件夹  [-mkdir [-p] <path> ...]

       hadoop fs -mkdir test

新建多级文件夹  [-mkdir [-p] <path> ...]

       hadoop fs -mkdir -p test/abc/def

新建文件 [-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]

       hadoop fs -touch test/abc/def a.txt

从本地剪切到HDFS [-moveFromLocal <localsrc> ... <dst>]

       hadoop fs -moveFromLocal test.txt test/abc/def

从本地粘贴到HDFS [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]

       hadoop fs -copyFromLocal test.txt test/abc/def

从HDFS粘贴到本地  [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

       hadoop fs -copyToLocal test/abc/def/test.txt ./

追加一个文件到已经存在的文件末尾 [-appendToFile <localsrc> ... <dst>]

       hadoop fs -appendToFile test.txt test/abc/def/test.txt

查看文件内容  [-cat [-ignoreCrc] <src> ...]

       hadoop fs -cat test/abc/def/test.txt

复制文件 [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]

       hadoop fs -cp test/abc/def/test.txt test/abc/def/test2.txt

移动文件 [-mv <src> ... <dst>]

       hadoop fs -mv test/abc/def/test.txt test/abc/qwe/

删除文件   [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]

       hadoop fs -rm -f test/abc/def/test2.txt

目录
相关文章
|
8月前
|
存储 Unix Shell
Shell 输出命令完全指南:echo 与 printf 的深度剖析
本文深入解析了 Shell 编程中 `echo` 和 `printf` 两个核心输出命令的用法与区别。`echo` 简单易用,适合基础输出;`printf` 功能强大,支持复杂格式化。文章从语法、转义序列、高级技巧到实际应用场景(如日志记录、进度显示)逐一讲解,并对比两者的性能与适用场景,帮助开发者根据需求灵活选择。最后通过进阶技巧和常见问题解答,进一步提升对两者的掌握程度。
405 1
|
9月前
|
网络协议 Shell 网络安全
面试官想听的不仅是命令——如何结构化回答“容器无Shell时如何测试外网”?
“说说看,如果一个Pod的容器没有Shell,如何测试它能否访问外网?”
面试官想听的不仅是命令——如何结构化回答“容器无Shell时如何测试外网”?
|
11月前
|
运维 Shell 数据库
Python执行Shell命令并获取结果:深入解析与实战
通过以上内容,开发者可以在实际项目中灵活应用Python执行Shell命令,实现各种自动化任务,提高开发和运维效率。
325 20
|
11月前
|
安全 Shell 数据处理
使用Python执行Shell命令并获取结果
在实际应用中,可以根据需要选择适当的参数和方法来执行Shell命令,并处理可能出现的各种情况。无论是系统管理、自动化任务还是数据处理,掌握这些技巧都将极大地提高工作效率。
373 12
|
人工智能 Shell iOS开发
AI Shell:在命令行里“对话” AI ,微软推出将 AI 助手引入命令行的 CLI 工具,打造对话式交互命令行
AI Shell 是一款强大的 CLI 工具,将人工智能直接集成到命令行中,帮助用户提高生产力。AI Shell 支持多种 AI 模型和助手,通过多代理框架提供丰富的功能和灵活的使用模式。
1696 7
|
Web App开发 网络协议 Linux
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
这篇文章是关于Linux命令的总结,涵盖了从基础操作到网络配置等多个方面的命令及其使用方法。
327 1
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
|
Java Shell Windows
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
294 1
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
458 1
使用YARN命令管理Hadoop作业
|
Unix Shell Linux
常见的shell命令
shell常用命令
325 11
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
327 4

相关实验场景

更多