本文主要讲述awk的高级应用

一、print

   print的使用格式：

   print item1，item2,....

   要点：

   1.各项目之间使用逗号分隔，而输出时则以空白字符分隔

   2.输出的item可以为字符串或数值、当前记录的字段（如$1）、变量或awk的表达式；数值会先转换为字符串，而后在输出

   3.print命令后面的item可以省略，此时其功能相当于print $0,因此，如果想输出空白行，则需要使用print ""

1
2
3
4
awk  'BEGIN {print "line one\nline two\nline three"}'
line one
line two
line three
1
2
3
4
5
6
7
8
9
10
11
[root@httpweb1 ~]# awk -F:  '{print $1,$3}'  /etc/passwd
root  0
bin  1
daemon  2
adm  3
lp  4
sync  5
shutdown  6
halt  7
mail  8
uucp  10

二、awk变量

   2.1 awk内置变量之记录变量

      FS：Field Separtator,读取文件时，所使用的字段分隔符

      RS：Record Separtator,输入文本信息所使用的换行符

      OFS：Output Field Separtator，输出文件时，所使用的字段分隔符

      ORS：Output Row Separtator，输出文本所使用的换行符

   2.2 awk内置变量之数据变量

      NR：The Number of input records,awk命令所处理的记录数，如果有多个文件，这个数目会把处理的多个文件中行统一计数

      NF：Number of Field，当前记录的field个数

      FNR：与NR不同的是，FNR用于记录正处理的行是当前这一个文件中被总共处理的行数

      ARGV：数组，保存命令行本身这个字符串，如awk '{print $0}' a.txt b.txt这个命令中，ARGV[0]保存awk，ARGV[1]保存a.txt  

      ARGC: awk命令的参数的个数

      FILENAME：awk命令所处理的文件的名称；在命令中获取当前文件名

      ENVIRON：当前shell环境变量及其值的关联数组

   2.3 用户自定义变量

   gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多与编程语言相同，只能使用字母、数字和下划线，且不能以数字开头。gawk变量名称区分字符大小写

      -v：自定义变量

      -v num1=10 -v num2=12

     2.3.1 在脚本中复制变量

      在gwak中队变量赋值使用复制语句进行

1
2
[root@httpweb1 ~]# awk  'BEGIN{var="vaiable hello";print var}'
vaiable hello

     2.3.2 在命令行中使用赋值变量

      gawk命令也可以在"脚本"外为变量赋值，并在脚本中进行引用。例如上面的例子也可以写成

1
2
[root@httpweb1 ~]# awk -v  var = "vaiable hello"  'BEGIN{print var}'
vaiable hello

  四、printf

      printf命令的使用格式：

      printf format，item1，item2，...

      要点：

      1.其与print命令的最大不同是，printf需要指定format

      2.format用于指定后面的每个item的输出格式

      3.printf语句不会自动打印换行符；使用\n来指定换行

      format格式的指示符都以%开头，后跟一个字符，如下所示

      %c：显示字符的ASSCII码；

      %d，%i：十进制整数；

      %e，%E：科学计数法显示数值；

      %f：显示浮点数

      %g，%G：以科学计数法的格式或浮点数的格式显示数值

      %s：显示字符串

      %u：无符号整数

      %%：显示%自身

     修饰符：

      N: 显示宽度

      -: 左对齐，默认为右对齐

      +：显示数值行号

1
2
3
4
5
6
7
8
9
[root@httpweb1 ~]# awk -F:  '{printf "%-15s %i\n",$1,$3}'  /etc/passwdroot             0
bin              1
daemon           2
adm              3
lp               4
sync             5
shutdown         6
halt             7
mail             8

  五、输出重定向

    print items > output-file 

    print items >> output-file

    print items |command

    特殊文件描述符：

    /dev/stdin:标准输入

    /dev/sdtout:标准输出

    /dev/stderr:错误输出

    /dev/fd/N：某特定文件描述符，如/dev/stdin就相当于/dev/fd/0

  六、awk的操作符

      6.1 算术操作符：

         -x：负值

         +x: 转换为数值

         x^y: 次方

         x**y: 次方

         x*y：乘法

         x/y: 除法

         x+y: 加法

         x-y：减法

         x%y：求余

     6.2 字符串操作符：

         只有一个，而且不用写出来，用于实现字符串连接

     6.3 赋值操作符：

          =：等于

          +=：加等

          -=：减等

          *=：乘等

          /=：除等

          %=：余等

          ^=：次方等

          **=：次方等

          ++: +1

          --: -1

         需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/代替；

      6.4 布尔值

          gawk中，任何非0值或非空字符串都为真，反之就为假

      6.5 比较操作符：

           x < y True if x is less than y

           x <= y True if x is less than or equal to y

           x > y True if x is greater than y

           x >= y True if x is greater than or equal to y

           x == y True if x is equal to y

           x != y True if x is not equal to y

           x ~ y True if the string x matches the regexp denoted by y

           x !~ y True if the string x does not match the regexp denoted by y

           subscript in array True if the array  has an element with the subscript

       6.6 表达式间的逻辑关系符

           &&

           ||

       6.7 条件表达式

          selector?if-true-exp:if-false-exp

              if selector;then

                if-true-exp

              else

                if-flase-exp

              fi

        6.8 函数调用

               function_name (para1,para2)

七、awk的模式

     awk 'program' input-file1 input-file2

     其中的program为：

     pattern { action }

     pattern { action }

     ...

    7.1 常见的模式类型

       1.Regexp：正则表达式，格式为/regular expression/

       2.expression: 表达式，其值非0或为非空字符时满足条件，如：$1 == "wangfeng7399",用运算符~（匹配）和！~（不匹配）。

       3.Ranges：指定的匹配范围，格式为 pat1,pat2

       4.BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次

       5.Empty（空模式）：匹配任意输入行

    7.2 常见的Action

       1.Expressions

       2.Control statements

       3.Compound statements

       4.Input statements

       5.Output statements

       /正则表达式/：使用通配符的扩展集

        关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行

        模式匹配表达式：

            模式：指定一个行的范围，该语法不能包含BEGIN和END模式

            BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可以在这里设置全局变量

            END：让用户在最后一条输入记录被读取之后发生的动作

  八、控制语句

      8.1 if-else

         语法：if (condition) {then-body} else {[else-body]}

 例子        

1
awk -F:  '{if ($1=="root") print $1,"Admin"; else print $1,"Common User"}'  /etc/passwd

      8.2 while

         语法：while (condition) {statement1;statment2;....}

1
awk -F:  '{i=1;while (i<=NF) { if (length($i)>=4) {print $i}; i++ }}'  /etc/passwd

      8.3 do-while 至少执行一次循环体，不管条件满足与否

          语法：do {statement1,statement2,.....} while (comdition)

1
awk -F:  '{i=1;do {print $i;i++}while(i<=3)}'  /etc/passwd

      8.4 for

          语法：for (variable assignment;codition;iteration process){statement1,statement2,...}

1
awk -F:  '{for(i=1;i<=3;i++)print $i}'  /etc/passwd

      for循环还可以用来遍历数组元素：

         语法：for(i in array){statement1,statement2,....}

1
awk -F:  '$NF!~/^$/{BASH[$NF++]}END{for(A in BASH){printf "%-15s:%i\n"A,BASH[A]}}' /etc/password

      说明：统计每个shell出现的次数

       8.5 case

           语法：switch(expression){case VALUE or /REGEXP/:statement1,statement2,....dafault1:statement1,....}

       8.6 break 和continue

           常用于循环或case语句中

       8.7 next

           提前结束对本行文本的处理，并接着处理下一行，例如，下面的命令将显示其ID号为奇数的用户

1
awk -F:  '{if($3%2==0) next;print$1,$3}' /etc/passwd

九 awk中使用数组

       9.1 数组

           array[index-expression]

           说明：index-expression可以使用任意字符串；需要注意的是，如果某数据组元素实现不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数组中是否存在某元素，需要使用index in array的方式

1
netstat -ant|awk  '/^tcp/{S[$NF]++} END {for (a in S) print a.S[a]}'

     说明：没出现一次被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值作为数组S的元素索引

       9.2 删除数组变量

           从关系数组中删除数组索引需要使用delete命令。格式为

           delete array[index]

 十、awk的内置函数

     sqlit(string,array[,fieldsep] [,seps])

     功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；属组下标为从1开始的序列

1
netstat -ant | awk  '/:80\>/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}'  | sort -rn | head - 50

     length（[string]）

     功能：返回string字符串中字符的个数

     substr（string，start [,length]）

     功能：去string字符串中的子串，从start开始，去length个，start从1开始计数

     system（command）

     功能：执行系统command并将结果返回至awk命令

     systime（）

     功能：取系统当前时间

     tolower（s）

     功能：将s中的所有字母转为小写

     toupper（s）

     功能：将s中的所有字母转化为大写

 十一、用户自定义函数

      自定义函数使用function关键字，格式如下

       function F_NAME([variable])

        {

           statements

         }

       函数还可以使用return语句返回值，格式为“return value”

 练习


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
1 、统计ps aux命令执行时，当前系统上各状态的进程的个数；
      [root@httpweb1 ~]# ps aux|awk  '!/^USER/{state[$8]++}END{for (i in state) {printf "%-15s %d\n",i,state[i]}}'
      S<               2
      S<sl             1
      Ss               18
      STAT             1
      SN               1
      S                94
      Ss+              7
      Ssl              4
      R+               1
      S+               1
      Sl               6
      S<s              1
      2 、统计ps aux命令执行时，当前系统上各用户的进程的个数；
      [root@httpweb1 ~]# ps aux |awk  '!/^USER/{state[$1]++}END{for (i in state) {printf "%s %d\n",i,state[i]}}'
      rpc  1
      dbus  1
      named  1
      68  2
      daemon  4
      postfix  2
      rpcuser  1
      root  122
      3 、显示ps aux命令执行时，当前系统上其VSZ（虚拟内存集）大于 10000 的进程及其PID；
      ps aux|awk  '!/^USER/{if ($5<10000) next;print $2,$5,$NF}'
      ps aux|awk  '!/^USER/{if ($5>10000) print $2,$5,$NF}'

本文转自wangfeng7399 51CTO博客，原文链接：http://blog.51cto.com/wangfeng7399/1390120，如需转载请自行联系原作者