文本处理利器——awk
简介
- awk是一个文本处理工具，通常用于处理数据并生成结果报告
语法格式
- 第一种形式：
awk 'BEGIN{}pattern{commands}END{}' file_name
- 第二种形式：
standard output|awk 'BEGIN{}pattern{commands}END{}'
awk的内置变量
awk '{print $0}' /etc/passwd
#使用分割符处理
awk 'BEGIN{FS=":"}{print $1}' /etc/passwd
#输出行号,文件单独输出，每个文件都是从1开始
awk '{print FNR}' list /etc/passwd
#输出每一行最后一个字段
awk '{print $NF}' list
注意事项
- 在awk中无论是引用内部变量，还是外部变量，都不需要使用
$,直接使用变量名即可
awk格式化输出之printf
#输出的第一个字段和第二个字段强制占用20个位置，默认是右对齐方式
awk 'BEGIN{FS=":"}{printf "%20s %20s\n",$1,$7}' /etc/passwd
#使用左对齐方式，一定要使用数字限定位数
awk 'BEGIN{FS=":"}{printf "%-20s %-20s\n",$1,$7}' /etc/passwd
#使用浮点数打印
awk 'BEGIN{FS=":"}{print "%0.3f\n",$1}' /etc/passwd
awk模式匹配的两种用法
- 第一种模式匹配：
RegExp，按正则表达式匹配
- 第二种模式匹配：关系运算符
#匹配/etc/passwd文件行中含有root字符串的所有行
awk 'BEGIN{FS=":"}/root/{print $0}' /etc/passwd
#以":"为分隔符，匹配/etc/passwd文件中第3个字段小于50的所有行信息
awk 'BEGIN{FS=":"}$3<50{print $0}' /etc/passwd
#以:为分隔符，匹配/etc/passwd文件中第3个字段包含3个以上数字的所有行信息
awk 'BEGIN{FS=":"}$3~/[0-9]{3,}/{print $0}' /etc/passwd
#以:为分隔符，匹配/etc/passwd文件中包含hdfs或yarn的所有行信息
awk 'BEGIN{FS=":"}$1=="hdfs"||$1=="yarn"{print $0} /etc/passwd'
awk动作中的表达式用法
条件语句
if(条件表达式)
动作1
else if(条件表达式)
动作2
else
动作3
awk 'BEGIN{FS=":"}{if($<50) print $1}' /etc/passwd
循环语句
while(条件表达式)
动作
do
动作
while(条件表达式)
for(初始化计数器；计数器测试；计数器变更)
动作
awk中的字符串函数
awk选项总结
awk数组用法
在awk中，使用数组时，不仅可以使用1,2...n作为数组下标，也可以使用字符串作为数组下标。
当使用1,2,3...n时，直接使用array[2]访问元素；需要遍历数组时，使用以下形式：
str="Allen Jerry Mike Tracy Jordan Kobe Garnet"
split()
for(i=1;i<length(array);i++)
print array[i]
当使用字符串作为数组下标时，需要使用array[str]形式访问元素，遍历数组时，使用以下形式：
array["var1"]="Tom"
array["var2"]="Jerry"
array["var3"]="Pig"
for(a in array)
print array[a]
