使用Shell命令操作HDFS

简介: 【8月更文挑战第5天】使用Shell命令操作HDFS。

使用Shell命令操作HDFS
在Windows系统中安装Hadoop3.1.3,然后完成下面题目中的各项操作:
(1)使用自己的用户名登录Windows系统,启动Hadoop,为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”;
(2)接着在HDFS的目录“/user/[用户名]”下,创建test目录;
(3)将Windows系统本地的一个文件上传到HDFS的test目录中,并查看上传后的文件内容;
(4)将HDFS目录test复制到Windows本地文件系统的某个目录下。
【参考答案】
(1)使用自己的用户名登录Windows系统,启动Hadoop,为当前登录的Windows用户在HDFS中创建用户目录“/user/[用户名]”;
假设当前登录Windows系统的用户名是xiaoming(请替换成自己的登录名)。

cd c:\hadoop-3.1.3\bin
hadoop fs -mkdir hdfs://localhost:9000/user/
hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming
(2)接着在HDFS的目录“/user/[用户名]”下,创建test目录;
hadoop fs -mkdir hdfs://localhost:9000/user/xiaoming/test
(3)将Windows系统本地的一个文件上传到HDFS的test目录中,并查看上传后的文件内容;
在“C:\”下创建一个文件test.txt,里面输入一行语句“I love hadoop”,使用如下命令把该文件上传到HDFS中:
hadoop fs -put C:\test.txt hdfs://localhost:9000/user/xiaoming/test
hadoop fs -cat hdfs://localhost:9000/user/xiaoming/test/test.txt
(4)将HDFS目录test复制到Windows本地文件系统的某个目录下。
hadoop fs -get hdfs://localhost:9000/user/xiaoming/test C:\

目录
相关文章
|
4月前
|
Shell Linux 程序员
【Linux】Shell 命令以及运行原理
【Linux】Shell 命令以及运行原理
|
18天前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
21天前
|
缓存 Shell Linux
在Linux中,bash shell 中的 hash 命令有什么作用?
在Linux中,bash shell 中的 hash 命令有什么作用?
|
23天前
|
存储 Shell 分布式数据库
Hbase 的基本shell 命令
Hbase 的基本shell 命令
|
2月前
|
存储 Shell 分布式数据库
Hbase 的基本shell 命令
Hbase 的基本shell 命令
|
1月前
|
Shell Linux
shell命令-lsof
shell命令-lsof
|
2月前
|
Shell Linux Perl
shell 编程中 awk ,wc ,$0,$1 等 命令的使用总结
shell 编程中 awk ,wc ,$0,$1 等 命令的使用总结
60 0
|
2月前
|
敏捷开发 Shell 测试技术
阿里云云效产品使用合集之如何用私有构建机运行shell命令打出的镜像作为下一个阶段的入参
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
3月前
|
存储 Shell 数据安全/隐私保护
Shell 内建命令:Shell 的内在魔力
Shell 内建命令比外部命令执行快,不需额外进程。`type` 命令用来检查命令类型。内建命令如 `cd`、`alias` 和 `echo` 直接在 Shell 中执行,不涉及磁盘 I/O。`type` 示例展示了 `cd` 是内建的,`ifconfig` 是外部的。`bash` 包含多种内建命令,如 `cd` 用于切换目录,`alias` 定义别名,`read` 从输入读取数据。`echo` 默认加换行,`echo -n` 可避免。
39 5
|
3月前
|
Shell 虚拟化
分布式系统详解--框架(Zookeeper-基本shell命令)
分布式系统详解--框架(Zookeeper-基本shell命令)
39 1