linux文本处理三剑客之awk

 4.1特点与应用场景

awk

一门语言，类似于C语言

过滤，统计，计算

过滤，统计日志

4.2 awk内置变量

4.3行与列

 

1）取行

2）取列

-F 指定分隔符 指定每一列结束标记（默认是空格，连续的空格,tab键）

$数字 取出某一列，注意：在awk中$内容一个意思 表示取出某一列

$0整行的内容，

{print xxx}

$NF表示最后一列（示例）

awk '{print $NF}' access.log.20220304000301

取网卡地址

只取个ip地址

3）小结

行与列名称

awk取行与列，指哪打哪

取出网卡ip地址

4.4 swk 模式匹配

谁可以作为awk的条件

1）比较表达式-参考上面取行部分

2）正则：

支持扩展正则

awk可以精确到某一列，某一行中包含/不包含.....内容。

~包含

!~不包含

 

#找出  第3列以2开头的行，并显示第1，3和最后一列

找出  第3列以1或2开头的行，并显示第1列，第3列和最后一列

还有这几种写法

3）表示范围

/哪里开始/,/哪里结束/ 常用

NR==1，NR==5  从第1行开始到第5行结束   类似于sed -n '1,5p'

#显示指定时间(11:02:00到11:02:30)范围内容的ip地址和用户访问uri column -t(自动对齐)

awk '/11:02:00/,/11:02:30/{print $1}' access.log.20220304000301

awk '/11:02:00/,/11:02:30/{print $1,$7,$9,$10}' access.log.20220304000301 |column -t

4）特殊模式BEGIN{}和END{}

1. END{}统计计算：
   
2. 统计方法
   

#统计/etc/services  里面有多少个空行

awk '/^$/' /etc/services

统计有多少空行

awk '/^$/{i++}END{print i}' /etc/services

#seq 100 求和1+2+3.。。+100 awk实现

seq 100 |awk '{sum=sum+$1}END{print sum}'

求和显示过程

seq 100 |awk '{sum=sum+$1;print sum}END{print sum}'

4.5 awk数组

1. 统计日志：类似于
   
2. 统计次数：统计每个ip出现次数，统计每种状态码出现次数，统计系统中每个用户被攻击的次数，统计攻击者ip出现次数
   
3. 累加求和：统计每个ip消耗的流量。
   

 

#awk中字母  会被识别为变量，如果只是想使用字符串需要使用双引号引起来  

awk 'BEGIN{a[0]=oldboy;a[1]=liao; print a[0],a[1]}'

所以无结果

数字和加双引号可以正常显示

awk数组专用循环打印

[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print i }'

0

1

[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print a[i] }'

12306

liao

[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print i,a[i] }'

0 12306

1 liao

案例：

http://www.etantian.org/index.html

http://www.etantian.org/1.html

http://post.etantian.org/2.html

http://mp3.etantian.org/3.html

http://www.etantian.org/4.html

http://post.etantian.org/5.html

[root@heimajinpai test]# awk -F"[/]+" '{print $2}' url.txt

www.etantian.org

www.etantian.org

post.etantian.org

mp3.etantian.org

www.etantian.org

post.etantian.org

[root@heimajinpai test]# awk -F"[/.]+" '{print $2}' url.txt

www

www

post

mp3

www

post

[root@heimajinpai test]# awk -F"[/.]+" '{array[$2]++}END{for(i in array)print i,array[i]}' url.txt

www 3（出现的次数）

mp3 1（出现的次数）

post 2（出现的次数）

#array[]++    你要统计什么 [] 里面就是什么（某一列）

awk -F"[/.]+" '{array[$2]++}END{for(i in array)print i,array[i]}' url.txt

#统计access.log中    每种状态码出现的次数（方式一）

awk  '{array[$10]++}END{for(i in array)print i,array[i]}' access.log.20220304000301 |sort -rnk2

#统计access.log中    每种状态码出现的次数（方式一）

awk '$10~/[0-9][0-9][0-9]/{array[$10]++}END{for(i in array)print i,array[i]}' access.log.20220304000301 |sort -rnk2

注意：使用awk统计日志，尽量精确匹配。

4.6 for循环

for n in 1 2 3

do

   echo $n

done

#1+100

[root@heimajinpai nginxlog]# awk 'BEGIN{for(i=1;i<=100;i++)sum+=i;print sum}'

5050

[root@heimajinpai nginxlog]#

4.7if 判断

统计磁盘空间使用率，如果大于70%，则提示磁盘空间不足，并显示磁盘分区，磁盘使用率，磁盘挂载点

df -h |awk -F"[ %]+" 'NR>1{if($5>=70)print "disk not enough"}'

df -h |awk -F"[ %]+" 'NR>1{if($5>=1)print "disk not enough",$1,$5,$NF}'

注意：awk使用多个条件的时候  第1个条件可以放在 ‘条件{动作}’ 第2个条件  一般使用if

面试题：统计这段语句中，单词中字符小于6的单词，显示出来。

4.9总结

个人网站：黑马金牌编程 - 技术博客，分享技术、分享生活

微信公众号：黑马金牌编程