awk编辑器(二)

简介: awk编辑器(二)

4.3生产实例:网卡的ip、流量

ifconfig ens33 | awk ' /netmask/{print "本机的ip地址是"$2}'
ifconfig ens33 | awk '/RX p/{print $5"字节"}'
df -h l awk 'NR==2{print $4 }'    #根分区的可用量,打印行号为2的第4列,df -h文件系统的磁盘空间占用情况




4.4BEGIN、END

逐行执行开始之前执行什么任务,结束之后再执行什么任务,用BEGIN、END


BEGIN一般用来做初始化操作,仅在读取数据记录之前执行一次


END一般用来做汇总操作,仅在读取完数据记录之后执行一次


awk的运算:


awk 'BEGIN{x=10;print x}’   #如果不用引号awk就当作一个变量来输出了,所以不需要加$了
awk 'BEGIN{x=10;print x+1}'
BEGIN在处理文件之前,所以后面不跟文件名也不影响
awk 'BEGIN{x=10;x++; print x}'
awk 'BEGIN{print x+1}’
不指定初始值,初始值就为0,如果是字符串,则默认为空
awk 'BEGIN{print 2.5+3.5}'
小数也可以运算
awk 'BEGIN{ print 2-1}"
awk "BEGIN{print 3*4 } "
awk 'BEGIN{ print 3**2}'9
awk 'BEGIN{print 2^3}'       ^和**都是幂运算
awk 'BEGIN{print 1/2}" 

4.5模糊匹配,用表示包含,!表示不包含

awk -F: '$1~/root/' /etc/passwd     #文件中以:分割的第一列包含root的
awk -F: '$1~/ro/' /etc/passwd       #模糊匹配,只要有ro就匹配上
awk -F: '$7!~/nologin$/{print $1,$7}" /etc/passwd   
文件中以:分割的第7列不包含nologin的 第一列和第七列打印出来

4.6关于数值与字符串的比较

比较符号: = != => <= > <


awk  'NR==5{print} ‘  /etc/passwd  打印文件第5行
awk  'NR<5{print} ‘  /etc/passwd   打印文件小于第5行的,1-4行
awk -F: '$3==0' /etc/passwd
awk -F: '$1=-root' /etc/passwd
awk -F: '$1=="root"' /etc/passwd
精确匹配一定是root
awk -F: "$3>=1000' /etc/passwd

4.7逻辑运算

&& ll


awk -F: '$3<10 || $3>=1000' /etc/passwd
awk -F: '$3>10 && $3<1000' /etc/passwd 
awk -F: 'NR>4 && NR<10' /etc/passwd

案列:


seq 200 |awk ‘$1%7==0 && $1~/7/’

打印1-200之间所有能被7整除并且包含数字7的整数数字


4.8 内置变量的用法FS、OFS、NR、FNR、RS、ORS

awk 'BEGIN{FS=": "} {print $1}' pass.txt
在打印之前定义字段分隔符为冒号  等于 awk -F:  ‘{print $1}’ pass.txt
awk 'BEGIN{FS=": ";OFS="---"} {print $1,$2}' pass.txt
OFS定义了输出时以什么分隔,$1$2中间要用逗号分隔,因为逗号默认被映射为OFS变量,而这个变量默认是空格
awk '{print FNR,$0}' /etc/resolv.conf  /etc/hosts
可以看出FNR的行号在追加当有多个文件时
awk 'BEGIN{RS=":"{print $0}' /etc/passwd
/RS;指定以什么为换行符,这里指定是冒号,你指定的肯定是原文里存在的字符
awk  'BEGIN{ORS= " "} {print $0}' /etc/passwd
ORS把多行合并成一行输出,输出的时候自定义以空格分隔每行,本来默认的是回车键

当被黑客攻击时,索取大量的ip地址筛选,要求我查上午8:00到10点之间所有访问的ip地址,通过运维 我去追踪他,可以去公安局报警【去日志里面查】【awk:日志文件不是冒号就是反斜杠 还要去重 wc -l去查有多少行】


五、awk的高级用法

5.1 定义引用变量

a=100
awk -v b="$a” 'BEGIN{print b}’
将系统的变量a,在awk里赋值为变量b,然后调用变量b
awk 'BEGIN{print "'$a'"}'
//直接调用的话需要先用双引号再用单引号
awk -v c=1 'BEGIN{print c}'
//awk直接定义变量并引用

5.2调用函数

调用函数getline,读取一行数据的时候并不是得到当前行而是当前行的下一行


当getline左右无重定向符"<“或"I"时,awk首先读取到了第一行,就是1,然后getline,就得到了1下面的第二行,就是2,因为getline之后,awk会改变对应的NE,NR,FNR和%0等内部变量,所以此时的$0的值就不再是1,而是2了,然后将它打印出来。当getline左石有重定向符”<“或”"I"时,getline则作用于定向输入文件,由于该文件是刚打开,


并没有被awk读入一行,只是getline读入,那么getline返回的是该文件的第一行,而不是隔行。


df -h / awk 'BEGIN{getline}/root/{print $0 }' /dev/mapper/centos-root 
50G    5.2G   45G    11%/
seq 10 | awk ' { getline;print $0}'   //显示偶数行
 seq 10 | awk '{print $0;getline)'   //显示奇数行

5.3调用语句

if语句:awk的if语句也分为单分支、双分支和多分支


单分支为if (){ }


双分支为if (){ }else{ }


多分支为if (){ }else if (){ }else{ }


awk -F: '{if($3<10){print $0}}' /etc/passwd   //第三列小于10的打印整行
awk -F: '(if($3<10)(print $3}else{print $1}}'/etc/passwd 
//第三列小于10的打印第三列,否则打印第一列

awk还支持for循环、while循环、函数、数组等其他


awk 'BEGIN{x=0};/\/bin\/bash$/{x++;print x,$0};END{print x}' /etc/passwd
统计以/ bin/ bash结尾的行数,等同于grep -c  "/bin/bash" /etc/passwd

BEGIN模式表示,在处理指定的文木之前,需要先执行BEGIN模式中指定的动作;awk再处理指定的文木,之后再执行END模式中指定的动作,END{}语句块中,往往会放入打印结果等语句


awk -F ":" '!($3<200){print}' /etc/passwd   #输出第3个字段的值不小于200的行
awk 'BEGIN{FS=":"};{if($3>=1000){print}}' /etc/passwd
先处理完BEGIN的内容,再打印文木里面的内容
awk -F":" '{max=($3>=$4)  ?$3:$4; {print max)}}' /etc/passwd(了解)
($3>$4) ?$3:$4三元运算符,如果第3个字段的值大于等于第4个字段的值,则把第3个字段的值赋给max,否则第4个字段的值赋给max
awk -F ":” ' (print NR,$0 )' /etc/passwd #输出每行内容和行号,每处理完一条记录NR值加1
sed -n '=;P' /etc/passwd
awk -F ":" '$7~"bash"{print  $1,$7}' /etc/passwcd
#输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awrk -F:  ‘/ bash/{print  $1}" /etc/passwed
awk -F":" "($1~"root") &&(NF==7){print $1,$2,$NF} ' /etc/passwd
第1个字段中包含root且有7个字段的行的第1、2个字段
awk -F ":" "($7!="/bin/bash") & &($7!="/sbin/nologin") {print} ' /etc/passwd
输出第7个字段既不为/bin/bash,也不为/sbin/nologin的所有行
awk -F: '($NF !="/bin/bash")&&($NF !=”/sbin/nologin" ) {print NR,$0 }' passwd

5.4通过管道、双引号调用shell 命令

echo $PATH | awk 'BEGIN{RS=":"};END {print NR}’
#统计以冒号分隔的文本段落数,END语句块中,往往会放入打印结果等语句

echo $PATH|awk ‘BEGIN{RS=“:”};{print NR,$0};END{print NR}’


awk -F: '/bash$/{print | "wc -l")' /etc/passwd
#调用wc -l命令统计使用bash 的用户个数,等同于grep -c "bash$" /etc/passwd
awk -F: ‘/ bash$/ {print}' pasawd l wc -l

1.查看内存


free -m l awk '/Mem:/ {print int($3/($3+$4)*100)“%”)′


2.查看当前内存使用百分比


free -m / awk ' /Mem:/ {print $3/$2)'
free -m|awk ‘/Mem:/ {print $3/$2*100}'
free -m | awk '/Mem:/{print $3/$2*100}' | awk -F. '{print $1"%"}'
比较后取整


3.查看CPU利用率


top -b -n 1 l grep Cpu | awk -F, {print $4}’ l awk '{print $1}′
#查看当前cPv空闲率,(-b -n1表示只需要1次的输出结果)


4.查看时间


last 是你关机或重启的记录,last | tail -1 是最后一次关机或重启的时间;

开机时间记录在/proc/uptime中可用

date -d “$(awk -F. ‘{print $1}’ /proc/uptime) second ago” +“%Y-%m-%d %H:%M:%S”

来查看开机时间,和运行时间。(+号前面有空格)


5.调用w命令,并用来统计在线用户数


awk ‘BEGIN {n=0; while (“w” | getline) n++ ; {print n-2}}’

6.调用hostname,并输出当前的主机名


awk 'BEGIN { “hostname” l getline ; {print $0}}

7.CPU使用率


CPU使用率
cpu_us=`top -b -n 1 l grep Cpu | awk '{ print $2}`
cpu_sy=`top -b -n 1 | grep Cpu | awk -F, '{print $2}' | awk '{print $1}'`
cpu_sum=$ (($cpu_us+$cpu_sy))
echo $cpu_sum

5.5 套用数组

echo "A B C D" l awk '{OFS="I"; print $0;$1=$1 ;print $0} '  

$1-$1是用来激活$0的重新赋值,也就是说字段$1…和字段数NF的改变会促便awk重新计算$0的值,通常是在改变OFS后而需要输出$0时这样做




awk ‘BEGIN{a[0]=10;a[1]=20; print a[1]}’
awk 'BEGIN{a[o]=10;a[1]=20; print a[o]'
awk 'BEGIN{a[ "abc"]=10; a["xyz"]=20;print a ["abc"]}'
awk 'BEGINia [ "abc"]=10;a ["xyz"]=20; print a["xyz"]}’
awk 'BEGIN{a ["abe"]="aabbcc"; a["xyz"]="xyyzz" ; print a ["xyz"]}'
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a){print i,a[i]}}'


PS1:BEGIN中的命令只执行一次


PS2: awk数组的下标除了可以使用数字,也可以使用字符串,字符串需要使用双引号


使用awk统计httpd访问日志中每个客户端IP的出现次数


awk ‘(ip[$1]++);END{for(i in ip){print ip[i],i}}’ /var/log/httpd/access_log


备注:定义数组,数组名称为ip,数字的下标为日怎文件的第1列(也就是客户A的i?地址),+t的目的在于对客户端进行统计计数,客户端IP出现―次计数器就加i。END中的指令在读取完文件后执行,通过循环将所有统计信息输出,for循环遍历的是数组名ip的下标。


5.6 脚本编写

 #!/bin/ bash
x='awk '/Failed password/{ip[$11]++};END{for(i in ip) (print i","ip[i]}}’/var/log/secure'
#190.168.80.13 3
for j in $x
do
ip= "echo $j l awk -F ", " '{print $1}"
num="echo $j l awk -F ", " '{print $2} "
if[ $num -ge 3 ];then
echo“警告$ip访问本机失败了$num次,请速速处理!”
fi
done


相关文章
|
缓存 BI Linux
《Linux操作系统编程》第九章 数据查找和筛选工具 : 了解流编辑器sed和报表生成器awk的简单使用
《Linux操作系统编程》第九章 数据查找和筛选工具 : 了解流编辑器sed和报表生成器awk的简单使用
89 0
|
Unix Linux 数据处理
|
Shell Linux C语言
Linux文本三剑客之awk编辑器(热爱漫无边际)(二)
Linux文本三剑客之awk编辑器(热爱漫无边际)(二)
141 0
Linux文本三剑客之awk编辑器(热爱漫无边际)(二)
|
Linux C语言 Perl
Linux文本三剑客之awk编辑器(热爱漫无边际)(一)
Linux文本三剑客之awk编辑器(热爱漫无边际)(一)
127 0
Linux文本三剑客之awk编辑器(热爱漫无边际)(一)
|
Shell Perl 网络协议
awk(报告生成器),grep(文本过滤器),sed(流编辑器)使用入门
三剑客 linux下的文本三剑客 grep egrep,grep,fgrep 文本查找的需要 grep:根据模式搜索文本,并将符合模式的文本行显示出来。
961 0
|
7月前
|
存储 Linux 编译器
vim编辑器和gcc/g++编辑器的使用讲解
vim编辑器和gcc/g++编辑器的使用讲解
164 2
|
5月前
|
开发工具
vi编辑器,现在vi\vim是文本文件进行编辑的最佳选择,Vim是vi的加强的版本,兼容vi的所有指令,vim编辑器有三种工作模式,一开始进入的是命令模式,命令模式i是插入的意思,两下y+p复制内容
vi编辑器,现在vi\vim是文本文件进行编辑的最佳选择,Vim是vi的加强的版本,兼容vi的所有指令,vim编辑器有三种工作模式,一开始进入的是命令模式,命令模式i是插入的意思,两下y+p复制内容
|
6月前
|
开发工具
Vim 编辑器:高效文本编辑的瑞士军刀
**Vim 概览:** Vim 是一个功能丰富的文本编辑器,以其高度可定制性著称。文章介绍了 Vim 的高效使用技巧,包括快捷打开文件、命令行模式下的常用命令、查找与替换、删除和复制文本。还讨论了配置 `.vimrc` 文件以自定义设置,如改变 leader 键、设置缩进和高亮,并展示了安装插件如 vim-airline 和 vim-snazzy 的方法。通过这些技巧,用户能提升 Vim 使用效率。
76 5
|
6月前
|
Ubuntu 搜索推荐 Linux
Linux的Vim编辑器详解
Linux的Vim编辑器详解
|
5月前
|
Linux 开发工具 数据安全/隐私保护
【linux】如何优雅的使用vim编辑器
【linux】如何优雅的使用vim编辑器

热门文章

最新文章