awk详解

简介:

awk

awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理,然后输出

awk命令形式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

 [-F|-f|-v]   大参数,-F指定分隔符,-f调用脚本,-v定义变量 var=value

'  '          引用代码块

BEGIN   初始化代码块,在对每一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符

//           匹配代码块,可以是字符串或正则表达式

{}           命令代码块,包含一条或多条命令

;          多条命令使用分号分隔

END      结尾代码块,在对每一行进行处理之后再执行的代码块,主要是进行最终计算或输出结尾摘要信息


一、awk工作原理:

1.首先,执行BEGIN{action statements}语句块中的语句;

2.其次,从文件中或者从标准输入读取一行,然后执行pattern{action statements}语句块;逐行重复处理该过程,直到数据全部被读取完毕;

3.在其他语句执行完成后,在退出awk程序之前,执行END{action statements}语句块;


注意:

1).BEGIN语句块在awk开始处理数据之前就需要执行;此语句块是可选语句块;

2).END语句块在awk处理完所有的数据之后,才会被执行;此语句块是可选语句块;

3).pattern语句块中的通用命令是最重要的部分,也是可选的;如果没有提供pattern语句块,则默认执行{ print }语句,显示数据的每一行;awk读取到的每一行都会执行一次pattern语句块的内容;



二、特殊要点:

$0           表示整个当前行

$1           每行第一个字段

NF          字段数量变量

NR          每行的记录号,多文件记录递增

FNR        与NR类似,不过多文件记录不递增,每个文件都从1开始

\t            制表符

\n           换行符

FS          BEGIN时定义分隔符

RS       输入的记录分隔符, 默认为换行符(即文本是按一行一行输入)

~            匹配,与==相比不是精确比较

!~           不匹配,不精确比较

==         等于,必须全部相等,精确比较

!=           不等于,精确比较

&&      逻辑与

||             逻辑或

+            匹配时表示1个或1个以上

/[0-9][0-9]+/   两个或两个以上数字

/[0-9][0-9]*/    一个或一个以上数字

FILENAME 文件名

OFS       输出字段分隔符, 默认也是空格,可以改为制表符等

ORS         输出的记录分隔符,默认为换行符,即处理结果也是一行一行输出到屏幕

-F'[:#/]'   定义三个分隔符



三、常用的ACTION:

1.print:标准格式显示;

print item1,item2,...


print命令的要点:

a.逗号分隔;

b.输出的各item可以是字符串,可以是数字,可以是当前记录中的字段,可以是变量,可以是awk表达式;

c.如果省略了item,就输出整行,相当于{print $0};


示例:

~]# awk -F: '{print $1,$3,$7}' /etc/passwd

~]# echo -e "1 2 3\n4 5 6\n7 8 9" | awk '{print $2}'


2.变量:

内建变量:

FS:input field seperator,输入字段分隔符,默认空白字符;

示例:

~]# awk -v FS=':' '{print $1}' /etc/passwd


OFS:outpit field seperator,输出字段分隔符,默认空白字符;

示例:

~]# awk -v FS=':' -v OFS=':' '{print $1,$3}' /etc/passwd


RS:input record seperator,输入记录分隔符,默认换行符;

注意:即使指定了新的输入记录分隔符,原换行符仍然有效;

示例:

~]# awk -v RS='/' '{print $0}' /etc/passwd


ORS:output record seperator,输出记录分隔符;


NF:number of field,字段数量;

示例:

~]# awk -v FS=':' '{print NF}' /etc/passwd

~]# awk -v FS=':' '{print $NF}' /etc/passwd

~]# awk -v FS=':' '{print $(NF-1)}' /etc/passwd


NR:number of record,行数;鉴于awk遍历文件每行的特性,可以将该变量理解为行号;

示例:

~]# awk  '{print NR}' /etc/passwd


FNR:file number of record,分别统计各个文件的行数,行号;

示例:

~]# awk  '{print FNR}' /etc/passwd /etc/fstab


FILENAME:输出当前正在处理的文件的文件名;

示例:

~]# awk  '{print FILENAME}' /etc/passwd /etc/fstab


ARGC:argument count,整个命令行中的参数的数量;包括命令本身;

示例:

~]# awk  '{print ARGC}' /etc/passwd /etc/fstab /etc/issue


ARGV:数组,argument value,保存了命令行中各个参数的具体内容;

示例:

~]# awk  '{print ARGV[1]}' /etc/passwd /etc/fstab /etc/issue


自定义变量:

定义方式:

-v var=value

注意:变量名区分字符大小写;


示例:

~]# awk -v var1='hello' -F: '{print var1 ,$1}' /etc/passwd


3.printf命令:

格式化输出命令:printf "FORMAT" item1,item2,...


要点:

1) 必须给出合适的FORMAT;

2) 默认不自动换行,需要显式给出换行控制符(\n);

3) FORMAT中需要为后面的每一个item指定一个格式化符号;


格式符:

%c:显示字符的ASCII码;

%d,%i:显示十进制整数;

%f:显示浮点数字;

%e,%E:使用科学计数法显示数字;

%g,%G:使用科学计数法显示浮点数字;

%s:显示字符串;

%u:显示无符号整数;

%%:显示%自身;


修饰符:

#[.#]:第一个数字用来控制显示宽度;第二个数字表示小数点的精度;

如:%3.1f  %5s

-:表示采用左对齐机制;默认是右对齐; %-15s

+:显示数字的正负符号;%+d


示例:

~]# awk -F: '{printf "%-20s: %-5s\n",$1,$3}' /etc/passwd


4.操作符:

算术操作符:

x+y, x-y, x*y, x/y, x^y, x%y

-x:将正数转换为负数;

+x:将字符串转换为数值;


字符串操作符:

没有符号的操作符,表示字符串连接之意;


赋值操作符:

=, +=, -=, *=, /=, %=, ^=

++, --


比较操作符:

>, >=, <, <=, ==, !=


模式匹配操作符:

~:左侧的字符串是否能够被右侧的模式所匹配;

!~:左侧的字符串是否不能够被右侧的模式所匹配;


示例:

~]# awk -F: '$3==1000{print $0}' /etc/passwd

~]# awk -F: '$NF~/bash/{print $0}' /etc/passwd


逻辑操作符:

&&

||

!


示例:

 ~]# awk -F: '$3>=500&&$3<=1000{print}' /etc/passwd


条件表达式:

condition(selector)?if-true-expression:if-false-expression


示例:

~]# awk -F: '{$3>=1000?usertype="Common User":usertype="Super or System User";printf "%-20s: %-20s\n",usertype,$1}' /etc/passwd


5.PATTERN:

1) empty:空模式,处理文件中的每一行;

2) [!]/REGEXP/:仅处理[不]能被PATTERN匹配到的行;

示例:~]# awk '[!]/^r/{print}' /etc/passwd

3) 关系表达式:$3>=1000, $NF~/bash/

4) 行的范围:

关系表达式:($3>=500&&$3<=1000)

/regexp1/,/regexp2/:从被regexp1匹配的行开始到被regexp2匹配的行结束,有多少这一类匹配结果,就显示多少次;


示例:~]# awk '/^r/,/^a/{print}' /etc/passwd

5) BEGIN/END模式:

BEGIN{}:仅在开始处理文件中的第一行文本之前执行一次的语句块;

示例:

~]# awk -F: 'BEGIN{printf "%20s %5s\n","Username","UserID"}{printf "%20s %5s\n",$1,$3}' /etc/passwd

注意:在输出特定格式的表头时,常用此语句块;


END{}:仅在文本处理完成但命令尚未退出时执行一次的语句块;

示例:

~]# awk -F: 'BEGIN{printf "%20s %5s\n","Username","UserID"}{printf "%20s %5s\n",$1,$3}END{print "========================\n",NR " users"}' /etc/passwd


6.常用的ACTION:

1.表达式(Expression)

2.组合语句(Cpmpound Statement)

3.输入语句(Input Statement)

4.输出语句(Output Statement)

5.控制语句(Control Statement)


7.控制语句:

if (condition) statement [ else statement ]

while (condition) statement

do statement while (condition)

for (expr1; expr2; expr3) statement

for (var in array) statement

break

continue

delete array[index]

delete array

exit [ expression ]

{ statements }

switch (expression) {case value|regex : statement...[ default: statement ]}


1) if-else:

语法:if (condition) {statement} [ else {statement} ]

使用场景:对awk取得的整行或某个字段做条件判断;


示例:

~]# awk -F: '{if($3>=1000) {print $1} else {print $1,$3}}' /etc/passwd


2) while循环:条件为真,进入循环;条件为假,退出循环;

语法:while (condition) statement

使用场景:对一行内的多个字段逐一做类似的处理时;对数组中的各个元素遍历及处理时;


示例:

~]# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {printf "%s: %d\n",$i,length($i);i++}}' /etc/grub2.cfg 


3) do...while循环:

语法:do statement while (condition)

意义:同while循环,但至少执行一次循环体中的语句;


4) for循环:

语法:for (expr1; expr2; expr3) statement

expr1:变量赋初值;

expr2:条件判断;

expr3:变量值的递增或递减调整;


示例:

~]# awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {printf "%s: %d\n",$i,length($i)}}' /etc/grub2.cfg 

5) break 和 continue

break [n]

continue:跳过本次循环,直接进入下次循环;


6) next语句:

提前结束对本行的处理,而直接进入下一行;

示例:

~]# awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd


8.数组(Array)

关联数组:array[index_expression]

index_expression:

1) 可以使用任意的字符串,字符串必须使用双引号;

2) 如果某数组元素事先不存在,当引用该元素时,awk会自动创建此元素,并且为该元素赋"空字符串"作为其初始值;


注意:如果想要判断数组中某个元素是否存在,一般会使用"index in array"格式进行;


示例:

~]# awk 'BEGIN{name["leader"]="zhang";name["mem1"]="li";name["mem2"]="wang";print name["leader"]}'


查看已连接状态下,同一客户端的连接数量:

~]# ss -tn | awk '/^ESTAB\>/{print $NF}' | awk -F: '{state[$1]++}END{for(s in state){print state[s],s}}'


9.函数:

内建函数:

length():计算字符串长度

split(string,array[,fieldsep])




本文转自 Runs_ 51CTO博客,原文链接:http://blog.51cto.com/12667170/1957755,如需转载请自行联系原作者

相关文章
|
Web App开发 机器学习/深度学习 Linux
AWK常用技巧
1.1 介绍 awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。
1483 0
|
网络协议 关系型数据库 MySQL
|
网络协议 关系型数据库 Shell
|
移动开发 网络协议 Shell
|
关系型数据库 MySQL Unix
|
Shell Perl Ubuntu
|
存储 Shell C语言