开启hadoop后对文件执行shell操作

简介: 开启hadoop后对文件执行shell操作
root@master:~# hadoop fs -ls /
hadoop: command not found            //如果出现这种情况说明环境变量没有配置,执行一下操作
root@master:~# gedit .bashrc         //会弹出编辑框,然后添加如下文字
export HADOOP_HOME=/opt/hadoop-2.9.2
export PATH=${JAVA_HOME}/bin:$PATH
export PATH=${HADOOP_HOME}/bin:/opt/hadoop-2.9.2/sbin:$PATH
//save保存
root@master:~# source .bashrc          //重新加载文件(这一步必不可少)
root@master:~# hadoop fs -mkdir /test1 /test2        //同时创建两个文件,test1,test2
root@master:~# hadoop fs -ls /         //查看HDFS当前路径
Found 2 items
drwxr-xr-x   - root supergroup          0 2021-11-20 20:31 /test1
drwxr-xr-x   - root supergroup          0 2021-11-20 20:31 /test2
root@master:~# hadoop fs -mkdir -p /x/y/x      //创建目录/x/y/x
root@master:~# hadoop fs  -lsr /x              //查看x下面的目录
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y/x
root@master:~# hadoop fs -mkdir file:/home/hadoop/x        //hdfs下创建本地路径/home/hadoop/x
root@master:~# hadoop fs  -lsr /x                                // 查看x下的路径
lsr: DEPRECATED: Please use 'ls -R' instead.
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y/x
root@master:~# hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2021-11-20 20:31 /test1
drwxr-xr-x   - root supergroup          0 2021-11-20 20:31 /test2
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x
root@master:~# ls
Desktop  Documents  Downloads  Music  Pictures  Public  Templates  Videos
root@master:~# cd 
root@master:~# ls
Desktop  Documents  Downloads  Music  Pictures  Public  Templates  Videos
root@master:~# cd
root@master:~# cd ..
root@master:/# ls
bin    dev   initrd.img      lib64       mnt   root  snap  tmp  vmlinuz
boot   etc   initrd.img.old  lost+found  opt   run   srv   usr  vmlinuz.old
cdrom  home  lib             media       proc  sbin  sys   var
root@master:/# cd home
root@master:/home# ls
hadoop
root@master:/home# hadoop fs  -touchz /test1/abc.txt
root@master:/home# hadoop fs  -ls /test1
Found 1 items
-rw-r--r--   3 root supergroup          0 2021-11-20 20:38 /test1/abc.txt
root@master:/home# echo "hello world" >> file1
root@master:/home# echo "hello old luo" >> file2
root@master:/home# ls
file1  file2  hadoop
root@master:/home# hadoop fs  -appendToFile file1 file2 /test1/abc.txt
root@master:/home# hadoop fs  -ls /test1/abc.txt
-rw-r--r--   3 root supergroup         26 2021-11-20 20:42 /test1/abc.txt
root@master:/home# hadoop fs  -cat /test1/abc.txt
hello world
hello old luo
root@master:/home# hadoop fs  -cp file:/home/hadoop/file1 /x
cp: `file:/home/hadoop/file1': No such file or directory
root@master:/home# cp file1 /home/hadoop
root@master:/home# ls
file1  file2  hadoop
root@master:/home# cd hadoop
root@master:/home/hadoop# ls
Desktop    Downloads         file1  Pictures  Templates  x
Documents  examples.desktop  Music  Public    Videos
root@master:/home/hadoop# hadoop fs  -cp file:/home/hadoop/file1 /x
root@master:/home/hadoop# hadoop fs  -lsr /x
lsr: DEPRECATED: Please use 'ls -R' instead.
-rw-r--r--   3 root supergroup         12 2021-11-20 20:50 /x/file1
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y/x
root@master:/home/hadoop# hadoop fs  -cp -p -f file:/home/hadoop/file1 /x
root@master:/home/hadoop# hadoop fs  -mv /x/file1 /x/file1.txt
root@master:/home/hadoop# hadoop fs  -lsr /x
lsr: DEPRECATED: Please use 'ls -R' instead.
-rw-r--r--   3 root root               12 2021-11-20 20:49 /x/file1.txt
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y
drwxr-xr-x   - root supergroup          0 2021-11-20 20:32 /x/y/x
root@master:/home/hadoop# hadoop fs  -lsr /text
lsr: DEPRECATED: Please use 'ls -R' instead.
lsr: `/text': No such file or directory
root@master:/home/hadoop# hadoop fs  -lsr /text1
lsr: DEPRECATED: Please use 'ls -R' instead.
lsr: `/text1': No such file or directory
root@master:/home/hadoop# cd ..
root@master:/home# ls
file1  file2  hadoop
root@master:/home# cd ..
root@master:/# ls
bin    dev   initrd.img      lib64       mnt   root  snap  tmp  vmlinuz
boot   etc   initrd.img.old  lost+found  opt   run   srv   usr  vmlinuz.old
cdrom  home  lib             media       proc  sbin  sys   var
root@master:/# hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2021-11-20 20:38 /test1
drwxr-xr-x   - root supergroup          0 2021-11-20 20:31 /test2
drwxr-xr-x   - root supergroup          0 2021-11-20 20:54 /x
root@master:/# hadoop fs -ls /test1
Found 1 items
-rw-r--r--   3 root supergroup         26 2021-11-20 20:42 /test1/abc.txt
root@master:/# hadoop fs -mv /test1 /x/y
root@master:/# hadoop fs -ls /x
Found 2 items
-rw-r--r--   3 root root               12 2021-11-20 20:49 /x/file1.txt
drwxr-xr-x   - root supergroup          0 2021-11-20 20:58 /x/y
root@master:/# cd /x
bash: cd: /x: No such file or directory
root@master:/# cd x
bash: cd: x: No such file or directory
root@master:/# hadoop fs -ls x
ls: `x': No such file or directory
root@master:/# hadoop fs -ls /x
Found 2 items
-rw-r--r--   3 root root               12 2021-11-20 20:49 /x/file1.txt
drwxr-xr-x   - root supergroup          0 2021-11-20 20:58 /x/y
root@master:/# hadoop fs -ls /x/y
Found 2 items

相关文章
|
3月前
|
Shell
Shell 文件包含
10月更文挑战第5天
39 4
|
4月前
|
Unix Shell Linux
LeetCode刷题 Shell编程四则 | 194. 转置文件 192. 统计词频 193. 有效电话号码 195. 第十行
本文提供了几个Linux shell脚本编程问题的解决方案,包括转置文件内容、统计词频、验证有效电话号码和提取文件的第十行,每个问题都给出了至少一种实现方法。
LeetCode刷题 Shell编程四则 | 194. 转置文件 192. 统计词频 193. 有效电话号码 195. 第十行
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
93 4
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
68 3
|
3月前
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(二)
52 3
|
3月前
|
分布式计算 Java Hadoop
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
Hadoop-09-HDFS集群 JavaClient 代码上手实战!详细附代码 安装依赖 上传下载文件 扫描列表 PUT GET 进度条显示(一)
51 2
|
3月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
48 1
|
3月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
60 1
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
5月前
|
Shell Linux 网络安全
在Linux中,如何利用Shell把10台主机的当前时间写到一个文件里边?
在Linux中,如何利用Shell把10台主机的当前时间写到一个文件里边?