hadoop安装使用的命令+linux基本操作命令+HDFS常用命令

简介: 一、Hadoop基本安装主要包括以下6个步骤:1.创建Hadoop用户。2.更新apt和安装Vim编辑器。3.安装SSH和配置SSH无密码登录。4.安装Java环境。5.安装单机Hadoop。6.HDFS:启动

一、Hadoop基本安装主要包括以下6个步骤:

1.创建Hadoop用户。
2.更新apt和安装Vim编辑器。
3.安装SSH和配置SSH无密码登录。
4.安装Java环境。
5.安装单机Hadoop。
6.HDFS:启动

1.创建Hadoop用户:

a.创建用户命令如下:
sudo useradd -m hadoop -s /bin/bash
b.接着使用命令设置密码(一半设为hadoop)
sudo passwd hadoop(注意要输入两次)
c.为hadoop用户增加管理员权限(避免一些比较棘手的权限问题)
sudo adduserr hadoop sudo

2.更新apt和安装Vim编辑器

a.更新apt
sudo apt-get update
b.安装Vim编辑器
sudo aot-get install vim

3.安装SSH和配置SSH无密码登录

a.sudo apt-get install openssh-server
b.ssh localhost
出现提示后输入yes并输入密码就可以了,但是每次登录都要输入密码,搜易我们设置无密码登录
c.exit
d.cd ~/.ssh/
e.ssh-keygen -t rsa(一直回车)
f.cat ./id_rsa.pub >> ./authorized_keys(完成)

4.安装Java环境(这一部分考的概率不是很大)

a.配置完环境变量时,让其生效命令 source ~/.bashrc
b.查看是否安装成功  java -version
c.如果能显示具体的版本号,就说明安装成功了。  java version "1.8.0_162"... ...

5.安装单机Hadoop

a.先解压
b.修改目录权限  sudo chown -R hadoop ./hadoop
c.查看版本信息  ./bin/hadoop version (注意:要在hadoop目录主下)
d.如果显示Hadoop的具体版本就成功了  Hadoop 3.1.3  ... ...

5.1.创建input目录,用来存放目录

cd /usr/local/hadoop
mkdir input

5.2.将 /usr/local/hadoop/etc/hadoop 目录下的配置文件复制到input目录下,命令如下:

cp ./etc/hadoop/*.xml ./input

5.3.运行hadoop自带的Grep实例

5.4.查看输出数据:

cat ./output/*

5.5.可以得到以下结果:

dfsadmin
dfs.replication
dfs.namenode.name.dir
dfs.datanode.data.dir

6.HDFS的启动命令:

cd /usr/local/hadoop
./sbin/start-dfs.sh
启动过程中所有的启动信息都写进了对应的日志文件,如果出现错误,可以在日志文件中查看

6.1查看是否启动成功:

输入:jps
输出:jps
NameNode
SecondaryNameNode
DataNode

6.2查看Hadoop的信息:

http://localhost:9870

6.3在HDFS创建的hadoop用户的用户目录

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

6.4在HDFS的“/user/hadoop”目录下创建input目录

./bin/hdfs dfs -mkdir input

6.5实现文件上传:

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

6.6运行测试样例程序Grep

6.7系统会自动创建output目录,结果会存储在这里面

6.8查看结果:

./bin/hdfs dfs -cat output/*
会得到相同的结果。

6.9注意:

当重新运行程序时,首先将output目录删除
删除命令:./bin/hdfs dfs -rm -r output

6.10当需要停止HDFS时命令:

cd /usr/local/hadoop
./sbin/stop-dfs.sh

二、Linux基本命令

1.cd 命令:切换目录

a.切换到指定目录:cd /usr/local/hadoop
b.切换到当前目录的上一级 cd ..
c.切换到当前登录Linux操作系统的用户的自己的主文件夹  cd /home/你的名字

2.ls 命令:查看文件与目录

查看目录“/usr”下的所有文件和目录 ls -l/-a

3.mkdir 命令:新建目录

a.进入/tmp目录,创建一个名为‘a’的目录,并查看此目录下已经存放了那些目录
cd /tmp
mkdir a
ls -l
b.进入/tmp目录,创建“a1/a2/a3/a4”
mkdir -p a1/a2/a3/a4

4.rmdir 命令:删除空的目录

5.cp 命令:复制文件或目录:


目录
相关文章
|
4月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后,就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容,用find这个“探测器”在系统中寻找文件,再用tar把东西打包带走。最关键的是要学会使用管道符|,它像一条流水线,能把这些命令串联起来,让简单工具组合出强大的功能,比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
565 1
二、Linux文本处理与文件操作核心命令
|
4月前
|
Linux
linux命令—stat
`stat` 是 Linux 系统中用于查看文件或文件系统详细状态信息的命令。相比 `ls -l`,它提供更全面的信息,包括文件大小、权限、所有者、时间戳(最后访问、修改、状态变更时间)、inode 号、设备信息等。其常用选项包括 `-f` 查看文件系统状态、`-t` 以简洁格式输出、`-L` 跟踪符号链接,以及 `-c` 或 `--format` 自定义输出格式。通过这些选项,用户可以灵活获取所需信息,适用于系统调试、权限检查、磁盘管理等场景。
362 137
|
4月前
|
安全 Ubuntu Unix
一、初识 Linux 与基本命令
玩转Linux命令行,就像探索一座新城市。首先要熟悉它的“地图”,也就是/根目录下/etc(放配置)、/home(住家)这些核心区域。然后掌握几个“生存口令”:用ls看周围,cd去别处,mkdir建新房,cp/mv搬东西,再用cat或tail看文件内容。最后,别忘了随时按Tab键,它能帮你自动补全命令和路径,是提高效率的第一神器。
841 57
|
3月前
|
存储 安全 Linux
Linux卡在emergency mode怎么办?xfs_repair 命令轻松解决
Linux虚拟机遇紧急模式?别慌!多因磁盘挂载失败。本文教你通过日志定位问题,用`xfs_repair`等工具修复文件系统,三步快速恢复。掌握查日志、修磁盘、验重启,轻松应对紧急模式,保障系统稳定运行。
706 2
|
4月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
407 0
Linux内存问题排查命令详解
|
4月前
|
Unix Linux 程序员
Linux文本搜索工具grep命令使用指南
以上就是对Linux环境下强大工具 `grep` 的基础到进阶功能介绍。它不仅能够执行简单文字查询任务还能够处理复杂文字处理任务,并且支持强大而灵活地正则表达规范来增加查询精度与效率。无论您是程序员、数据分析师还是系统管理员,在日常工作中熟练运用该命令都将极大提升您处理和分析数据效率。
424 16
|
5月前
|
Linux 网络安全 开发工具
技术栈:这50条最常用的 Linux 命令你一定要会!
建议多在终端中实践,遇到不懂的命令就用 man 或 --help 了解详情!
621 0
|
Shell Linux 数据安全/隐私保护
97条 Linux 常用命令总结,速速收藏!(四)
Linux在我们学习和工作中都会遇到,了解一点常用命令让你不再是Linux小白。跟我一起来学习这些常用命令吧~
|
移动开发 Linux 数据库
97条 Linux 常用命令总结,速速收藏!(二)
Linux在我们学习和工作中都会遇到,了解一点常用命令让你不再是Linux小白。跟我一起来学习这些常用命令吧~
|
安全 Java Linux
linux应急常用命令+技巧总结
不输的办法只有一个,就是不上场
960 0