awk操作应用

简介

   awk是数据处理工具也是报告生成工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个字段来处理。因此，awk相当适合处理小型的数据处理。默认情况下awk将下面的变量分配给在文本行中检测到的每个数据字段：$0:表示整行文本；$1:表示文本行中的第一个数据字段；$2：表示文本行中的第二个数据字段；$n:表示文本行中的第n个数据字段。

awk用法格式是：awk [options]‘模式类型1{动作1}’FILE1...

常用选项

模式类型

空模式：没有指定任何模式，遍历文件中的每一行

BEGIN模式：在执行所有awk脚本动作之前执行的预设类（准备）的工作

小拓展：分隔符包含字段分隔符（默认为空白符）和行分隔符（默认为换行符）其中使用FS：指定输入分隔符也是awk的内置变量；OFS指定输出分隔符；NF指定最后一个字段。

   FS：指定输入分隔符

   OFS：指定输出分隔符

   NF：指定最后一个字段

END模式：在awk脚本动作执行完成之后做的简单的收尾操作，主要用于统计使用

正则表达式：（格式：/PATTERN/）表示对于被正则表达式匹配到的行进行操作，而并非所有行

表达式：其值非0或为非空字符时满足条件，如：$1 ~ /foo/ 或 $1 == "magedu"

   支持使用~(匹配)和!~(不匹配)，>=,<=,>,< 等所有比较操作符

   支持逻辑关系操作符

指定匹配范围，格式为pat1，pat2

这个匹配模式类型很难理解，我们用一个例题来解析：

  eg：匹配一个文件中以abc开头aaa结尾的字段

输出动作介绍

 1、print

   print的使用格式：print item1， item2, ...

   要点：

     （1）、各项目之间使用逗号隔开，而输出时则以空白字符分隔；

     （2）、输出的item可以为字符串或数值、当前记录的字段(如$1)、变量或awk的表达式；数值会先转换为字符串，而后再输出；

     （3）、print命令后面的item可以省略，此时其功能相当于print $0, 因此，如果想输出空白行，则需要使用print""；

2、printf

    printf命令的使用格式：printf format, item1, item2,...

    要点：

      （1）、其与print命令的最大不同是，printf需要指定format；

      （2）、format用于指定后面的每个item的输出格式；

      （3）、printf语句不会自动打印换行符；\n

      其中format格式的指示符都以%开头，后跟一个字符；如下：

      %c: 显示字符的ASCII码；

      %d, %i：十进制整数；

      %e, %E：科学计数法显示数值；

      %f: 显示浮点数；

      %g, %G: 以科学计数法的格式或浮点数的格式显示数值；

      %s: 显示字符串；

      %u: 无符号整数；

      %%: 显示%自身；

    在输出格式上常用修饰符：

       N: 显示宽度；

       -: 左对齐（默认为右对齐）；

       +：显示数值符号；

eg：

控制语句的使用

常见类型：if;while; for; case; do...while; break; continue; next

（1）、if-else

   语法：if (condition){then-body} else {[else-body]}

   解析：condition是判断条件通常为布尔表达式或逻辑表达式

（2）、while

   首先说明在awk中的循环不是循环每一行的而是循环切片之后的每一个字段的

   语法： while(condition){statement1; statment2; ...}

解析：length是awk的内置函数，获取字段的长度的；而这里length($i)指的是$i字段的长度。

（3）、do-while

   和while循环的区别：while循环是当条件不满足时不会执行任何循环操作，而do-while是不论条件真假与否首先执行一次循环体，然后再去判断条件满足与否，满足继续执行不满足不再执行。也就是说不管条件满足与否，至少执行一次循环体。

   语法： do{statement1, statement2, ...} while (condition)

解析：此命令中的while循环并不成立但是还是执行了print$4这就是do-while的体系结构若还不太明白可对比使用：[root@zhao ~]# awk -F: '{i=4;while (i>4){print $i;i--}}'/etc/passwd此命令执行之后不会有任何执行结果。

（4）、for

   语法： for ( 初始赋值; condition（变量条件）;修正变量（初始值）) { statement1, statement2, ...}

（5）、case

  语法：switch(expression) { case VALUE or /REGEXP/: statement1, statement2,... default:statement1, ...}

 由于此语句不常使用所以不做深入研究，有意学习者请参考其他文章

（6）、break 和 continue

  常用于循环或case语句中，具体使用方法和bash中基本类似，所以此处不做重点阐述

（7）、next

  这个为awk的独有命令，表示提前结束对本行文本的处理，并接着处理下一行；

  例如，显示其ID号为奇数的用户：

（8）、数组应用

   数组：一组连续的可存储多个值内存空间，可使用数组索引（下标）来引用数组。

   语法：array[index-expression]

     index-expression可以使用任意字符串；需要注意的是，如果某数据组元素事先不存在，那么在引用其时，awk会自动创建此元素并初始化为空串；因此，要判断某数据组中是否存在某元素，需要使用index in array的方式。

若遍历数组中的每一个元素，需要使用如下的特殊结构：

语法：for (var in array) {statement1, ... }

其中，var用于引用数组下标，而不是元素值；

解析：$NF为最后一个字段，^$表示为空，BASH[$NF]表示下标为$NF数组，也就是说可能出现BASH[/bin/bash]等

awk的内置函数使用与介绍

• split(string, array[, fieldsep [, seps ] ])

  解析：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；数组下标为从1开始的序列；

例题解析：split($5,clients,":")是使用冒号分割将第5段保存到clients数组中；IP[clients[1]]++}提取第一部分（IP地址）保存到IP这个变量中；{for(iin IP){print IP[i],i}}遍历IP地址并显示次数和IP地址；sort -rn 根据次数进行逆向排序，head -5O只取前50个。

  例：取出当前使用比例已经大于20%的文件系统

• length([string])

   解析：返回string字符串中字符的个数；

• substr(string, start[, length])

   解析：取string字符串中的子串，从start开始，取length个；start从1开始计数；

• system(command)

   解析：执行系统command并将结果返回至awk命令

• systime()

  解析：取系统当前时间

• tolower(s)

  解析：将s中的所有字母转为小写

• toupper(s)

  解析：将s中的所有字母转为大写

       至此awk的应用知识基本阐述完毕，如有错误或无阐述到位的问题请留言注明，大家的支持是我学习路上前进的动力！！

本文转自 z永 51CTO博客，原文链接:http://blog.51cto.com/pangge/1286728