一、awk命令
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理（gawk - pattern scanning and processing language）。centos7中的awk是gawk的链接。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。前面的grep、sed只是单纯的工具，而awk已经是一门语言了，可见awk的功能将比较强大
用法：
awk -F '分割记号' ‘script’ files
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)
选项：
-F fs fs指定输入分隔符，fs可以是字符串或正则表达式，如-F:
-v var=value 赋值一个用户定义变量，将外部变量传递给awk
-f scripfile 从脚本文件中读取awk命令
二、对文本竖列的操作
awk命令能够方便的通过指定分隔记号将文本分成特定的列，然后在针对分出来的竖列进行操作
1、显示test.txt文档的第一列前5行。
awk -F ':' '{print $1}' test.txt | head -n 5
命令解释：-F ':' 就是说这个文件以：作为分隔符，我们做实验的是passwd文件，它本身就被：分割成了7段，'{}'中就是操作的描述，命令中的print $1 就是显示第1列。
2、显示test.txt文件所有竖列的内容
awk -F ':' '{print $0}' test.txt
awk '{print $0}' test.txt
注意与上一条命令的区别，$1表示第一列，$0表示所有列。
效果上其实和cat一样。
3、awk也可以
awk命令在没有指定-F 分割符号或分割字符串时，默认以空格或者空白段作为分隔符
我们先创建一个测试文档，以空格作为分隔符
后我们输入下列命令
awk '{print $1}'
awk '{print $1,$3}'
awk '{print $1,$2}'
可以看出awk自动把空格作为分段记号，不管是多少个空格。
4、指定#为显示分隔符显示特定列（注意不会影响原始文件，只是影响显示）
awk -F ':' '{print $1"#"$3"#"$7}' test.txt
三、awk匹配功能举例
awk 搜索操作时与sed命令一样,awk默认支持正则，不需要像grep -E ， sed -r 一样需要专门选项。
1、搜索含关键字root的行
awk '/root/' test.txt
2、搜索第一竖列中含有oo字符的行。
sed -F ':' '$1 ~/oo/' test.txt
注意这个波浪号~就是匹配的意思。
3、搜索root和test任意匹配其中一个所在的行的第一列和第三列
awk -F ':' '/root/{$1,$3} /test/{$1,$3}' test.txt
awk -F ':' '/root|test/ {print $0}' test.txt
4、搜索分割后第三段==0的行,也就是uid是零的行。
awk -F ':' '$3==0' test.txt
这一列也可以拓展到其他数学表达式
awk -F ':' '$3>=1000' test.txt
awk -F ':' '$3<=100' test.txt
5、搜索分割后最后不是/sbin/nologin的行
awk -F ':' '$7!="/sbin/nologin" {print $1}' test.txt
写正则时两个注意点：一是不是什么的表达式为！=，二是字符串匹配时要用双引号
6、搜索第三列大于第四列或者第七列==/sbin/nologin的行
awk -F ':' '$3>$4||$7=="sbin/nologin"' test.txt
||表示或者，&&表示并且。
7、搜索第三列大于第四列和第七列==/sbin/nologin的行
awk -F ':' '$3>$4||$7&&"sbin/nologin"' test.txt
四、awk内置变量功能举例
awk命令自带了一些变量：
OFS：系统分隔符
NR:总行数变量
NF：分割后最大段数数值
1、列出第三列大于1000数字或者第七段包含/bash/的行，打印这些行的1、3、7段，并且用#做显示分隔符。
awk -F ':' '{OFS="#"} $3>1000|| $7 ~ /bash/ {print $1,$3,$7}' test.txt
awk -F ':' '{OFS="#"} {if （$3>1000|| $7 ~ /bash/）{print $1,$3,$7}}' test.txt
2、显示分段的最后一行
awk -F ':' '{print $NF}' test |head -n3
$NF 表示末段 NF表示段数，是一个数字
3、显示文件,并在每一行前加上行号==grep -n
awk -F ':' {print NR":"$0} test.txt
grep -n '' test.txt
4、显示前10行,同时复习sed写法。
awk -F':' 'NR<=10 {print $0}' test.txt
sed -n '1,10'p test.txt
同时复习sed写法
5、利用awk命令给$1f赋值
head -n3 test.txt| awk -F ':' '{OFS=":"} $1="root"' test.txt
注意与head -n3 test.txt| awk -F ':' '{OFS=":"} $1=="root"' test.txt的区别
五、awk数学运算举例
1、计算第三段的值的和
awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt
本文转自 whytl 51CTO博客，原文链接:http://blog.51cto.com/11934539/2062116
