测试mapreduce
cd /cloudcomput/hadoop-3.2.1/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-3.2.1.jar pi 3 3 成功输出 2020-03-06 22:25:18,476 INFO mapreduce.Job: map 100% reduce 0% 2020-03-06 22:25:25,547 INFO mapreduce.Job: map 100% reduce 100% 2020-03-06 22:25:25,571 INFO mapreduce.Job: Job job_1583480378953_0001 completed successfully Estimated value of Pi is 3.55555555555555555556
hadoop shell 常用命令
查找电脑上hadoop的安装位置
find / -iname "*hadoop*" 注意 -iname 代表不区分大小写 查找 文件名一定需要 " " 引号引注
控制命令
控制命令都在hadoop 的 sbin 文件夹下
# 常看当前进程 jps #启动 hafs srart-dfs.sh #启动yarn start-yarn.sh Starting resourcemanager #全部启动 start-all.sh 暂停就把 start 换成 stop
操作文件命令
#创建文件夹 hadoop fs -mkdir /mydir1 # 常看创建的文件 -ls 后添加 -R 可以递归查找 hadoop fs -ls / Found 3 items drwxr-xr-x - root supergroup 0 2020-03-06 22:33 /mkdir1 drwx------ - root supergroup 0 2020-03-06 22:24 /tmp drwxr-xr-x - root supergroup 0 2020-03-06 22:24 /user #创建文件 [root@c8ea42a71e89 /]# hadoop fs -touch /mkdir1/text1.txt 递归查找 root@c8ea42a71e89 /]# hadoop fs -ls -R / drwxr-xr-x - root supergroup 0 2020-03-07 05:10 /mkdir1 -rw-r--r-- 1 root supergroup 0 2020-03-07 05:10 /mkdir1/text1.txt .... 移动，或者重命名 hadoop fs -mv /mkdir1/text1.txt /mkdir1/text2.txt [root@c8ea42a71e89 /]# hadoop fs -ls -R / drwxr-xr-x - root supergroup 0 2020-03-07 05:12 /mkdir1 -rw-r--r-- 1 root supergroup 0 2020-03-07 05:10 /mkdir1/text2.txt 查看文件 全部内容 hadoop fs -cat /mkdir1/text2.txt 查看文件末尾1k ，对于大文件 直接 cat 会卡住 ，推荐 tail 命令 ，对于小文件效果一致 hadoop fs -tail /mkdir1/text2.txt 查看目录下文件大小。 或者单个文件大小 -shm 可以 按照 mb 查看 hadoop fs -du /mkdir1 查看文件详细信息 hadoop fs -stat /mkdir1/text2.txt 下面列出了format的形式： %b：打印文件大小（目录为0） %n：打印文件名 %o：打印block size （我们要的值） %r：打印备份数 %y：打印UTC日期 yyyy-MM-dd HH:mm:ss %Y：打印自1970年1月1日以来的UTC微秒数 %F：目录打印directory, 文件打印regular fil 从hdfs 下载文件到 本地 hadoop fs -get /mkdir1/text2.txt /hadoopfiles 删除文件 hadoop fs -rm 改变执行权限 hadoop fs -chmod -R 777 / 改变所有者信息 hadoop fs -chown -R root / 清空回收站 hadoop fs -expunge 上传本地文件 hadoop fs -put 本地路径 内部路径 执行jar包 hadoop jar jar包路径 方法 参数 hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /in /out 开启安全模式 hdfs dfsadmin -safemode enter Safe mode is ON 退出安全模式 hdfs dfsadmin -safemode leave Safe mode is OFF 关闭hadoop stop-all.sh
idea 连接hadoop
参考博客
https://blog.csdn.net/qq_22938671/article/details/104509627?fps=1&locationNum=2
第一步创建maven 文件
报错
java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem not found
添加依赖
/cloudcomput/hadoop-3.2.1/share/hadoop
