大数据基础之常用Linux命令

简介: cd命令ls命令mkdir和rmdir命令cp命令mv命令rm命令cat命令tac命令more命令head命令tail命令touch命令chown命令find命令tar命令grep命令s...

大数据实验环境一般为Linux,熟悉Linux操作非常有必要,总结常用Linux命令如下。

1.cd命令

进入文件夹:

cd dirname

进入多级文件夹:

cd /usr/local/Cellar

返回上层目录:

cd ../

返回上层的上层:

cd ../../

回到主文件夹

cd

2.ls命令

ls命令用于列出当前文件和目录,加上参数之后可以做更多的事情。
不带参数运行ls会列出文件和目录

ls

使用-l参数切换到长清单模式,会显示当前目录内容的长列表:

ls  -l

加上-lh参数显示文件大小:

ls -lh

加上-a参数显示隐藏文件:

ls -a

如果只想列出目录:

ls -d */

递归列出所有子目录:

ls -R

通过修改时间列出:

ls -lt

列出子目录:

ls ~

列出父目录:

ls ../
ls ../../

增加/标记目录

ls -p

3.mkdir和rmdir命令

mkdir用于创建文件夹,创建文件夹时应确保与它所在的目录下的没有同名文件夹。

mkdir A

一次创建多个文件夹:

mkdir B C D

加上-p参数可以创建带有子目录的文件夹:

mkdir -p dira/dirb/dirc

删除目录:

rmdir abc

递归删除带有子目录的文件夹:

rmdir -p dira/dirb/dirc

4.cp命令

cp命令是Linux的拷贝文件命令.
拷贝A目录下的a.txt到B目录:

cp A/a.txt B/

如果B目录下已存在a.txt,拷贝前询问是否覆盖,加上-i参数:

cp -i A/a.txt B/
overwrite B/a.txt? (y/n [n])

拷贝整个文件夹:

cp -R A B

拷贝前询问是否覆盖:

cp -R -i A B

5.mv命令

mv命令常用对文件或目录进行移动、文件重命名或者备份,mv是move的缩写。
把A目录下的a.txt移动到B文件夹下:

mv A/a.txt B

如果B目录下已经存在同名文件,询问是否备份:

 mv -i A/a.txt B
 overwrite B/a.txt? (y/n [n]) 

重命名操作,把a.txt改名为a1.txt:

mv A/a.txt A/a1.txt

把A目录下的所有文件移到B:

mv A/* B

6.rm命令

rm命令用于删除文件或者目录,可以删除一个目录下的一个或多个文件或目录,也可以删除整个目录及其下的所有文件和子目录。rm是remove的缩写。rm是一个危险命令,使用的时候要特别小心,在执行rm之前要确认所在目录以及要删除的操作,不要误删。
删除一个文件:

rm A/a.txt

删除不为空的文件夹:

rm -r A/B

删除前询问:

rm -i A/a.txt

7.cat命令

cat命令的用途是连接文件或者标准输入并打印,该命令常用来显示文件内容,或者将几个文件连接起来显示。cat有三大功能

  1. 一次显示整个文件:

    cat filename     
    
  2. 从键盘创建一个文件

    cat >filename
    
  3. 将几个文件合并为1个文件

    cat file1 file2>file
    

命令参数:

  • -b:对非空输出行编号
  • -n:对所有行都输出行号

8.tac命令

cat命令可以显示文件的内容,它反过来写就是tac,而tac恰巧也是一个Linux命令,它的功能就是把文件内容反过来显示,文件内容的最后一行先显示,第一行最后显示。

tac filename

9.more命令

cat命令会显示整个文件的内容,more命令会一页一页的显示方便阅读。按空白键(space)显示下一页,b键会返回前一页。

more filename

命令参数:

  • +n:从第n行开始显示
  • -n:定义屏幕大小为n行
  • -c:从顶部清屏然后显示

10.head命令

head命令用于显示文档的开头至标准输出。
显示文件的前6行:

head -n 6   filename

显示文件前n个字节的内容:

head -c 20   filename    

11.tail命令

tail和head类似,只不过是从尾部显示文件内容.
显示文件的最后10行:

tail -10 filename

或者:

tail -n 10 filename

12.touch命令

touch命令可以修改文件时间或创建新文件:

touch -t 201611151010 filename

设置file1和file2的时间戳相同:

touch file1 file2

13.chown命令

chown命令用于设置文件的所有者属性。
把文件的所有者改为root帐号:

chown root filename

把文件夹的所有者改为root帐号:

chown -R root A

14.find命令

文件查找命令。
找出当前目录下所有的.txt格式文件

find  . -name "*.txt" -print

15.tar命令

tar命令可以用来解压缩文件:

tar  -zxvf filename.tar.gz

16.grep命令

grep命令是一种强大的文本搜索工具,使用正则表达式匹配文本并将搜索结果打印出来.
从多个文件中查找关键词:

grep 'linux' test1.txt test2.txt

找出以h开头的行内容:

cat test.txt |grep ^h

找出不以h开头的行内容:

cat test.txt |grep ^[^h]

找出以de结尾的行内容:

cat  test.txt|grep de$

显示包含he或者sh的行内容:

cat test.txt|grep -E "he|sh"

显示当前目录下以.txt结尾且每个字符串至少包含7个小写字母的的行内容:

grep  '[a-z]\{7\}' *.txt

17.source命令

source命令通常用于立即执行刚修改的初始化文件,使之立即生效,而不必重新启动或注销。
比如配置java环境变量,修改~/.bash_profile之后,使其立即生效:

source ~/.bash_profile

18.开关机命令

18.1重启

重启命令:

reboot

立即重启:

shutdown -r now

10分钟之后立即重启:

shutdown -r 10

设置指定时间重启:

shutdown -r 20:10

如果是通过shutdown命令设置重启的话,可以用shutdown -c命令取消重启

18.2关机

立刻关机:

halt

或者:

poweroff

或者:

shutdown -h now

10分钟之后自动关机

shutdown -h 10

如果是通过shutdown命令设置关机的话,可以用shutdown -c命令取消重启

19.mac查看Java Home

命令:

/usr/libexec/java_home

JDK路径:

/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home

20.根据端口查看进程ID

fuser -n tcp 5601

21.查看磁盘空间使用情况

df -h

例子:

root@iZwz90ndt4p7qqtsxx4v5zZ:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       40G  4.9G   33G  13% /
udev            993M  4.0K  993M   1% /dev
tmpfs           201M  256K  200M   1% /run
none            5.0M     0  5.0M   0% /run/lock
none           1002M     0 1002M   0% /run/shm

22、根据文件名查找文件

sudo find / -name a.txt

23、查看文件大小

du -sh *

24、查看多个文件的大小

查看所有以ofbiz.log.2017-05开头的日志文件的大小:

find ./ -iname "ofbiz.log.2017-05*" | xargs du -cb -h

25.脚本同时启动ES-ES-Head-Kibana

每次启动Elasticsearch,Head和Kibana都必不可少,但是每次命令行都要切换好几次,脚本一次启动:
sb是我对sublime对缩写,新建一个脚本文件:

sb start-ehk.sh

写入启动三者对脚本:

sh /Users/bee/Documents/elk/es5.4/elasticsearch-5.4.0/bin/elasticsearch -d

cd /Users/bee/Documents/elk/es5.4/kibana-5.4.0-darwin-x86_64/bin/
nohup sh kibana &

cd /Users/bee/Documents/elk/es5.4/elasticsearch-head-master
nohup grunt server &exit

加上可执行权限:

chmod 777 start-ehk.sh

执行脚本:

sh start-ehk.sh

之后就可以依次访问9200、9100、5610端口啦!

查找进程号关闭,Mac上通过端口号查找pid对命令如下:

lsof -i tcp:5601

(CentOS通过端口查进程店命令为 fuser -n tcp : 5601)

这里写图片描述

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
12月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后,就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容,用find这个“探测器”在系统中寻找文件,再用tar把东西打包带走。最关键的是要学会使用管道符|,它像一条流水线,能把这些命令串联起来,让简单工具组合出强大的功能,比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
1076 1
二、Linux文本处理与文件操作核心命令
|
12月前
|
Linux
linux命令—stat
`stat` 是 Linux 系统中用于查看文件或文件系统详细状态信息的命令。相比 `ls -l`,它提供更全面的信息,包括文件大小、权限、所有者、时间戳(最后访问、修改、状态变更时间)、inode 号、设备信息等。其常用选项包括 `-f` 查看文件系统状态、`-t` 以简洁格式输出、`-L` 跟踪符号链接,以及 `-c` 或 `--format` 自定义输出格式。通过这些选项,用户可以灵活获取所需信息,适用于系统调试、权限检查、磁盘管理等场景。
770 137
|
12月前
|
安全 Ubuntu Unix
一、初识 Linux 与基本命令
玩转Linux命令行,就像探索一座新城市。首先要熟悉它的“地图”,也就是/根目录下/etc(放配置)、/home(住家)这些核心区域。然后掌握几个“生存口令”:用ls看周围,cd去别处,mkdir建新房,cp/mv搬东西,再用cat或tail看文件内容。最后,别忘了随时按Tab键,它能帮你自动补全命令和路径,是提高效率的第一神器。
1704 58
|
11月前
|
存储 安全 Linux
Linux卡在emergency mode怎么办?xfs_repair 命令轻松解决
Linux虚拟机遇紧急模式?别慌!多因磁盘挂载失败。本文教你通过日志定位问题,用`xfs_repair`等工具修复文件系统,三步快速恢复。掌握查日志、修磁盘、验重启,轻松应对紧急模式,保障系统稳定运行。
1631 2
|
12月前
|
Unix Linux 程序员
Linux文本搜索工具grep命令使用指南
以上就是对Linux环境下强大工具 `grep` 的基础到进阶功能介绍。它不仅能够执行简单文字查询任务还能够处理复杂文字处理任务,并且支持强大而灵活地正则表达规范来增加查询精度与效率。无论您是程序员、数据分析师还是系统管理员,在日常工作中熟练运用该命令都将极大提升您处理和分析数据效率。
892 16
|
12月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
1013 0
Linux内存问题排查命令详解
|
Linux 网络安全 开发工具
技术栈:这50条最常用的 Linux 命令你一定要会!
建议多在终端中实践,遇到不懂的命令就用 man 或 --help 了解详情!
2236 0
|
安全 Linux Shell
Linux系统中sudo命令的高效运用技巧。
用户可以通过sudo -l来列出自己目前可执行的命令列表,这有助于用户了解自己的权限范围。
449 0
|
监控 Linux Shell
linux命令
常用 Linux 命令汇总
|
Linux C++
每天一个linux命令(8):cp 命令
cp 命令是 Linux 中用于复制文件或目录的命令。它的名字来源于英文单词 copy。这个命令非常常用,特别是在需要备份文件或创建文件副本时。
796 0