linux常用命令使用技巧(持续更新)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

1、Vim自动添加注释及智能换行

1
2
3
4
5
6
7
8
9
10
11
12
13
# vi /etc/vimrc
" set  autoindent
set  tabstop=4
set  shiftwidth=4
function  AddTitle()
call setline(1, "#!/bin/bash" )
call append(1, "#====================================================" )
call append(2, "# Author: lizhenliang - EMail:zhenliang369@163.com" )
call append(3, "# Create Date: "  . strftime( "%Y-%m-%d" ))
"call append(4," # Filename: " . expand("%"))                    call append(4,"# Description: ")
call append(5, "#====================================================" )
endf
map <F4> :call AddTitle()<cr>

# vi test.sh #打开一个测试shell脚本,按F4就会自动添加注释,省了不少时间:

wKiom1VztXWCPUGDAAD021Qu79A380.jpg

2、查找并删除/data这个目录7天前创建的文件

# find /data -ctime +7 -exec rm -rf {} \;

# find /data -ctime +7 | xargs rm -rf

3、tar命令压缩排除某个目录

# tar zcvf data.tar.gz /data --exclude=tmp    #--exclude参数为不包含某个目录或文件,后面也可以跟多个

4、查看tar包存档文件,不解压

# tar tf data.tar.gz  #t是列出存档文件目录,f是指定存档文件

5、使用stat命令查看一个文件的访问时间(Access)、修改时间(modify)、状态改变时间(Change)

stat index.php

Access: 2013-11-10 02:37:44.169014602 -0500

Modify: 2013-06-18 10:53:14.395999032 -0400

Change: 2013-06-18 10:53:38.855999002 -0400

6、批量解压.tar.gz

方法1:# find . -name "*.tar.gz" -exec tar zxf {} \;

方法2:# for tar in *.tar.gz; do tar zxvf $tar; done

方法3:# ls *.tar.gz | xargs tar zxvf  

7、筛除出文件中的注释和空格

方法1:grep -v "^#" httpd.conf |grep -v "^$"

方法2:# sed -e /^$/d -e /^#/d httpd.conf > http.conf 

或者 # sed -e '/^#/d;/^$/d'     #-e 执行多条sed命令

方法3:# awk '/^[^#]/|/"^$"' httpd.conf 

或者 # awk '!/^#|^$/' httpd.conf

8、筛选/etc/passwd文件中所有的用户

方法1:# cat /etc/passwd |cut -d: -f1

方法2:# awk -F ":" '{print $1}' /etc/passwd

9、iptables网站跳转

# iptables -A INPUT -p tcp -m multiport --dport 22,80 -j ACCEPT

# echo 1 >/proc/sys/net/ipv4/ip_forward

# iptables -t nat -A PREROUTING -d 10.0.0.10 -p tcp --dport 80 -j DNAT --to-destination 192.168.0.10:80

#将来自10.0.0.10的网站访问请求转发到目标服务器192.168.0.10。另外,内网服务器要配置防火墙内网IP为网关,否则数据包回不来。另外,这里不用配置SNAT,因为系统服务会根据数据包来源再返回去。

10、iptables将本机80端口转发到本地8080端口

# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080

11、find命令查找文件并复制到/opt目录

方法1:# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;:   #-exec执行后面命令,{}代表前面输出的结果,\;结束命令

方法2:# find /etc -name httpd.conf |xargs -i cp {} /opt  #-i表示输出的结果由{}代替

12、查看根目录下大于1G的文件

# find / -size +1024M  

默认单位是b,可以使用其他单位如,C、K、M

13、查看服务器IP连接数

# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n  

-tun:-tu是显示tcp和udp连接,n是以IP地址显示

cut -d:-f1:cut是一个选择性显示一行的内容命令,-d指定:为分隔符,-f1显示分隔符后的第一个字段。

uniq -c:报告或删除文中的重复行,-c在输出行前面加上出现的次数

sort -n:根据不同类型进行排序,默认排序是升序,-r参数改为降序,-n是根据数值的大小进行排序

14、插入一行到391行,包括特殊符号"/"

# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf

15、列出nginx日志访问最多的IP

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10

16、显示访问量最多的前10位IP

# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10

sort 排序

uniq -c 合并重复行,并记录重复次数

sort -nr 按照数字进行降序排序   

17、显示nginx日志一天访问量最多的前10位IP

# awk '$4>="[16/May/2015:00:00:01" && $4<="[16/May/2015:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10

# awk '$4>="[16/Oct/2015:00:00:01" && $4<="[16/Oct/2015:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log

18、获取当前时间前一分钟日志访问量

# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log

# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log 

# grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'

# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log  

19、找出1-255之间的整数

方法1:# ifconfig |grep -o '[0-9]\+'  #+号匹配前一个字符一次或多次

方法2:# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'

20、找出IP地址

# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'  #-o只显示匹配字符

21、给文档增加开头和结尾说明信息

# awk ‘BEGIN{print "开头显示信息"}{print $1,$NF} END{print "结尾显示信息"}’/etc/passwd

# awk 'BEGIN{printf "  date      ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages         

  date      ip

------------------

03:13:01 localhost

10:51:45 localhost

------------------

end...

22、查看网络状态命令

# netstat -antp #查看所有网络连接

# netstat -lntp #只查看监听的端口信息

# lsof -p pid #查看进程打开的文件句柄

# lsof -i:80  #查看端口被哪个进程占用

23、生成8位随机字符串

方法1:# echo $RANDOM |md5sum |cut -c 1-8

方法2:# openssl rand -base64 4

方法3:# cat /proc/sys/kernel/random/uuid | cut -c 1-8

24、while死循环

while true; do  #条件精确等于真,也可以直接用条件[ "1" == "1" ],条件一直为真

   ping -c 2 www.baidu.com

done

25.awk格式化输出

将文本列进行左对齐或右对齐。

左对齐:

# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt

右对齐:

# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt

26.整数运算保留小数点

方法1:# echo 'scale=2; 10/3;'|bc  #scale参数代表取小数点位数

方法2:# awk BEGIN'{printf "%.2f\n",10/3}' 

27.数字求和

# cat a.txt

10

23

53

56

方法1:

#!/bin/bash

while read num;

        do

        sum=`expr $sum + $num`

done < a.txt

        echo $sum

方法2:# cat a.txt |awk '{sum+=$1}END{print sum}'

28、判断是否为数字(字符串判断也如此)

# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no    #[[]]比[]更加通用,支持模式匹配=~和字符串比较使用通配符

^ $:从开始到结束是数字才满足条件

=~:一个操作符,表示左边是否满足右边(作为一个模式)正则表达式

29、删除换行符并将空格替换别的字符

# cat a.txt |xargs echo -n |sed 's/[ ]/|/g'  #-n 不换行

# cat a.txt |tr -d '\n'  #删除换行符

30、查看文本中20至30行内容(总共100行)

方法1:# awk '{if(NR > 20 && NR < 31) print $0}' test.txt

方法2:# sed -n '20,30p' test.txt 

方法3:# head -30 test.txt |tail

31、文本中两列位置替换

# cat a.txt

60.35.1.15      www.baidu.com

45.46.26.85     www.sina.com.cn

# cat a |awk '{print $2"\t"$1}' 

32、监控目录,新创建的文件名追加到日志中

#要安装inotify-tools软件包

#!/bin/bash
MON_DIR=/opt
inotifywait -mq --format %f -e create $MON_DIR |\
while read files; do
  echo $files >> test.log
done
33、find一次查找多个指定文件类型

# find ./ -name '*.jpg' -o -name '*.png'

# find ./ -regex ".*\.jpg\|.*\.png"

34、字符串拆分

# echo "hello" |awk -F '' '{for(i=1;i<=NF;i++)print $i}'

# echo "hello" |sed 's/./&\n/g'

# echo "hello" |sed -r 's/(.)/\1\n/g'

35、实时监控命令运行结果

# watch -d -n 1 'ifconfig'

36、解决邮件乱码问题

# echo `echo "content" | iconv -f utf8 -t gbk` | mail -s "`echo "title" | iconv -f utf8 -t gbk`" baojingtongzhi@163.com

注:通过iconv工具将内容字符集转换

37、在文本中每隔三行添加一个换行或内容

# sed '4~3s/^/\n/' file

# awk '$0;NR%3==0{print "\n"}' file

# awk '{print NR%3?$0:$0 "\n"}' file

38、删除匹配行及后一行或前一行

# sed '/abc/,+1d' file  #删除匹配行及后一行

# sed '/abc/{n;d}' file #删除后一行

# tac file |sed '/abc/,+1d' |tac  #删除前一行

39、统计总行数

效率1 # wc -l file  

效率2 # grep -c . file

效率3 # awk 'END{print NR}' file

效率4 # sed -n '$=' file

40、去除文本开头和结尾空格

sed -i 's/^[ \t]*//;s/[ \t]*$//' file

41、给单个IP加单引号

# echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'

# echo '10.10.10.1 10.10.10.2 10.10.10.3' |awk '{for(i=1;i<=NF;i++)printf "\047"$i"\047"}' 

42、脚本中打印等待时间

wait(){

echo -n "wait 3s"

for ((i=1;i<=3;i++)); do

    echo -n "."

    sleep 1

done

echo 

}

wait

43、删除指定行

# awk 'NR==1{next}{print $0}' file #$0可省略

# awk 'NR!=1{print}' file

# awk 'NR!=1{print $0}' 或删除匹配行:awk '!/test/{print $0}'

# sed '1d' file

# sed -n '1!p' file

44、在指定行前后加一行

在第二行前一行加txt:

# awk 'NR==2{sub('/.*/',"txt\n&")}{print}' a.txt 

# sed'2s/.*/txt\n&/' a.txt

在第二行后一行加txt:

# awk 'NR==2{sub('/.*/',"&\ntxt")}{print}' a.txt

# sed'2s/.*/&\ntxt/' a.txt

45、通过IP获取网卡名

# ifconfig |awk -F'[: ]' '/^eth/{nic=$1}/192.168.18.15/{print nic}'

46、浮点数运算(数字46保留小数点)

# awk 'BEGIN{print 46/100}'  

0.46

# echo 46|awk '{print $0/100}'

0.46

# awk 'BEGIN{printf "%.2f\n",46/100}'

0.46

# echo 'scale=2;46/100' |bc|sed 's/^/0/'

0.46

# printf "%.2f\n" $(echo "scale=2;46/100" |bc)

0.46

47、浮点数比较

if [ $(echo "4>3"|bc) -eq 1 ]; then

    echo yes

else

    echo no

fi

if [ $(awk 'BEGIN{if(4>3)print 1;else print 0}') -eq 1 ]; then

    echo yes

else

    echo no

fi

48、替换换行符为逗号

$ cat a.txt

1

2

3

替换后:1,2,3

$ tr '\n' ',' < a.txt

$ sed ':a;N;s/\n/,/;$!b a' a.txt

$ sed ':a;$!N;s/\n/,/;t a' a.txt  


while read line; do

    a+=($line)

done < a.txt

echo ${a[*]} |sed 's/ /,/g'


awk '{s=(s?s","$0:$0)}END{print s}' a.txt

#三目运算符(a?b:c),第一个s是变量,s?s","$0:$0,第一次处理1时,s变量没有赋值为假,结果打印1,第二次处理2时,s值是1,为真,结果1,2。以此类推,小括号可以不写。

awk '{if($0!=3)printf "%s,",$0;else print $0}' a.txt

49、windows下文本到linux下隐藏格式去除

:set fileformat=unix

:%s/\r*$//  #^M可用\r代替

sed -i 's/^M//g' a.txt  #^M的输入方式是ctrl+v,然后ctrl+m

dos2unix a.txt

50、xargs巧用

xargs -n1  #将单个字段作为一行

# cat a.txt

1 2 

3 4

# xargs -n1 < a.txt

1

2

3

4

xargs -n2 #将两个字段作为一行

$ cat b.txt

string

number

a

1

b

2

$ xargs -n2 < a.txt 

string number

a 1

b 2

$ awk 'ORS=NR%2?"\t":"\n"' b.txt  #把奇数行换行符去掉


相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
目录
相关文章
|
5天前
|
运维 监控 网络协议
Linux抓包命令tcpdump使用技巧大全
【7月更文挑战第10天】
27 5
Linux抓包命令tcpdump使用技巧大全
|
1天前
|
存储 安全 Linux
Linux命令sync详解
`sync`命令在Linux中用于将内存缓冲区的数据强制写入磁盘,保证数据持久性和一致性。它在关机、重启或重要文件操作前后使用,以防数据丢失。工作原理是强制将内存中的数据同步到磁盘,特点是阻塞式执行且通常无需参数。常见用法包括安全关机、数据备份和配置文件修改后确保更改生效。应注意,过度使用可能影响性能,应适时使用`fsck`检查文件系统一致性。
|
1天前
|
安全 数据管理 Shell
Linux命令su详解
`su`命令在Linux中用于切换用户身份,常用于权限管理。它允许用户无须注销当前会话就切换到另一个用户,尤其是root。`su`有多种选项,如`-`或`--login`加载目标用户环境,`-c`执行指定命令后返回。使用时需注意权限安全,建议用`sudo`以减少风险。通过限制`/etc/pam.d/su`可加强访问控制。`su`在系统维护和数据管理中扮演角色,但不直接处理数据。
|
1天前
|
存储 运维 安全
Linux命令stat:深入了解文件与文件系统状态
`stat`命令在Linux中用于显示文件和文件系统的详细状态,包括权限、大小、时间戳等。它通过读取inode获取信息,特点是显示全面、易用且支持多种参数,如`-c`自定义格式,`-f`查看文件系统状态,`-L`处理符号链接。例如,`stat example.txt`显示文件详情,`stat -c &quot;%n 的大小是 %s 字节&quot; example.txt`输出文件大小。理解`stat`有助于系统管理和故障排查。
|
1天前
|
关系型数据库 MySQL Linux
Linux命令systemctl详解
`systemctl`是Linux系统用于管理systemd服务的核心命令,它与systemd守护进程交互,实现启动、停止、重启服务及查看服务状态等功能。主要参数包括`start`、`stop`、`restart`、`status`、`enable`和`disable`等。例如,启动Apache服务使用`systemctl start httpd.service`,查看服务状态用`systemctl status &lt;service&gt;`。使用时需注意权限,服务名通常以`.service`结尾,但命令中可省略。最佳实践包括利用tab键补全、定期查看服务状态和合理配置服务自启。
|
1天前
|
安全 Linux 数据安全/隐私保护
Linux命令strings详解
`strings`是Linux工具,用于从二进制文件中提取可打印字符串,常用于文件分析、安全审计和逆向工程。它可以识别至少4个连续可打印字符的序列,并支持多种参数,如`-n`调整最小长度,`-f`显示文件名。示例用法包括`strings /bin/ls`和`strings -n 6 /usr/bin/uptime | grep GLIBC`。注意敏感信息泄露,结合其他命令可增强分析能力。
|
1天前
|
存储 监控 Linux
stdbuf命令在Linux中的深度解析
`stdbuf`是Linux工具,用于控制命令的stdin、stdout和stderr的缓冲模式。它可以设置为无缓冲、行缓冲或块缓冲,以优化数据处理和实时性。例如,`stdbuf -o0 cmd`禁用cmd的输出缓冲,`-oL`则按行缓冲。在需要实时监控或高效处理大量数据时,选择合适的缓冲模式至关重要。注意,过度使用无缓冲可能影响性能,并非所有系统都支持`stdbuf`。
|
1天前
|
存储 算法 安全
Linux命令sum详解
`sum`命令在Linux中用于计算文件的校验和与磁盘块数,确保文件传输或存储时的完整性。它使用加法运算生成校验和,可与文件内容比较验证变化。支持不同算法(如CRC),能处理多个文件。基本用法包括:`sum file.txt`来计算校验和,`sum -c checksum.txt`来验证文件完整性。但要注意,更强的校验算法如MD5或SHA家族可能更适合安全性需求。结合`find`和`xargs`可用于目录的递归校验。定期校验和记录校验和是最佳实践。
|
1天前
|
安全 Linux 数据处理
Linux命令strip详解
`strip`命令在Linux中用于移除可执行文件和库的符号表及调试信息,减小文件大小,提升运行效率。它的工作原理是删除文件中包含的函数名、变量名等信息。主要参数包括`-s`(移除所有符号)、`-g`(仅移除调试信息)等。在应用时要注意文件备份,因为该操作不可逆。最佳实践是在发布版本中使用,并结合构建流程自动化。
|
1天前
|
Unix Linux 数据处理
Linux命令stty详解
`stty`是Linux命令,用于设置和查看终端参数,如波特率、字符处理和控制字符。它直接与终端驱动交互,支持多种选项以适应不同的配置需求。例如,`stty -a`显示当前设置,`stty -echo`关闭回显,`stty 115200 cs8`调整波特率和字符大小。注意修改设置可能影响终端行为,建议先备份(`stty -g`)并谨慎操作。查阅手册页以获取详细信息。