5分钟入门AWK

简介: AWK是Linux上卓越的文本处理工具,它具有非常简单的语法结构,拥有强大的文本处理能力。AWK 是一种解释执行的编程语言,AWK 的名称是由它们设计者的名字缩写而来 —— Afred Aho, Peter Weinberger 与 Brian Kernighan。

AWK是Linux上卓越的文本处理工具,它具有非常简单的语法结构,拥有强大的文本处理能力。AWK 是一种解释执行的编程语言,AWK 的名称是由它们设计者的名字缩写而来 —— Afred Aho, Peter Weinberger 与 Brian Kernighan。

 

目前总共有如下几种不同的 AWK 版本。

AWK——这个版本是 AWK 最原初的版本,它由 AT&T 实验室开发。

NAWK ——NAWK(New AWK)是 AWK 的改进增强版本。

GAWK—— GAWK 即 GNU AWK,所有的 GNU/Linux 发行版都包括 GAWK,且 GAWK 完全兼容 AWK 与 NAWK。

 

AWK 可以做非常多的工作。 下面只是其中部分 AWK 的典型应用场景:

文本处理,

生成格式化的文本报告,

进行算术运算,

字符串操作,以及其它更多。

 

linux 默认安装了gawk,使用which gawk,如果输出/bin/gawk,说明已经安装了gawk,否则需要我们安装,可以使用 yum 包管理工具安装:

[root]# yum install gawk

 

另外我们也可以通过源码编译的方式安装gawk:

step 1——从可信的源下载源代码。可以在命令行使用 wget 命令下载。

[jerry]$ wget http://ftp.gnu.org/gnu/gawk/gawk-4.1.1.tar.xz

step 2——解压并提取下载的源代码。

[jerry]$ tar xvf gawk-4.1.1.tar.xz

step 3——切换至解压后的目录并运行 configure 命令

[jerry]$ ./configure

step 4——configure 命令成功执行后会生成一个 Makefile 文件。 接下来使用 make 命令编译源代码。

[jerry]$ make

step 5——你可以运行测试工具保证 build 是干净的。 这一步是可选的。

[jerry]$ make check

step 6——最后一步,安装 AWK。 安装前请确认你有超级用户的权限。

[jerry]$ sudo make install

通过以上六个步骤,你就成功地编译并安装了 AWK。 你可以通过如下的命令来确认 awk 安装成功:

 

gawk的版本通过: gawk --version 查看

[jerry]$ which awk

执行上面的命令,你将会得到如下的结果:

/usr/bin/awk

 

awk的工作流程:

读( Read )、执 行( Execute )与重复( Repeat )

读入一行执行一行,直到文件末尾。

 

gawk的程序结构:

开始块(BEGIN block),以大写BEGIN开头,必须大写,这一部分是可选的,可有可无。如:

BEGIN {awk-commands}

主体块(Body Block),如:

/pattern/ {awk-commands}

结束块(END Block),以大写END结束,必须大写,这一部分是可选的,可有可无。如:

END {awk-commands}

 

awk的整体语法格式是: awk '/pattern/ {action}' file 

其中单引号是为了和shell命令区分开;

/pattern/ 是一个过滤器,匹配这个模式的行才会被action的命令处理;

{}是一个命令组,action是具体执行的命令;

file是要处理的文件

其中/pattern/ 和{action}必须要有一个,

awk可以直接在命令行执行执行命令,也可以通过编写好脚本,然后执行脚本。

通过命令行的方式:

输出marks.txt文件的内容:

[jerry]$ awk '{print}' marks.txt 

再比如输出tomcat日志:

gawk '{print}' /usr/local/apache-tomcat-8.0.30/logs/catalina.out

另外一种提供 AWK 命令的方式——通过脚本文件提供:

awk [option] -f file ....

首先,创建一个文本文件 command.awk,在文件中输入如下 AWK 命令:

{print}

现在,我们可以调用 AWK 从文本文件中读入命令并执行。这里,我们实现了与上面例子相同的效果:

[jerry]$ awk -f command.awk marks.txt

awk有一些标准选项:

-v 选项

这个选项可以为变量赋值。它允许在程序执行之前为变量赋值。下面是一个 -v 选项使用的示例程序:

[jerry]$ awk -v name=Jerry 'BEGIN{printf "Name = %s\n", name}'

执行上面的命令可以得到如下的结果:

Name = Jerry

--dump-variables[=file] 选项

此选项会将全局变量及相应值按序输出到指定文件中。默认的输出文件名是 awkvars.out。

[jerry]$ awk --dump-variables ''

[jerry]$ cat awkvars.out 

 

awk的基本使用示例:

默认情况下,如果某行与模式串匹配,AWK 会将整行输出:

[jerry]$ awk '/a/ {print}' marks.txt

这个输出marks.txt文件中匹配 a 字符的所在行。

输出某一列,比如输出第三列:

[jerry]$ awk '/a/ {print $3}' marks.txt

统计模式串成功匹配的次数,并将该结果打印出来:

[jerry]$ awk '/JVM/ {++count} END {print count }' catalina.out 

输出字符数多于 18 的行:

[jerry]$ awk 'length($0) > 18' marks.txt

查询文件中匹配的字符:

awk '/uid=10001/' catalina.out

在catalina.out文件中找匹配uid=10001的行,和 grep类似的功能。

awk '/uid=10*/' catalina.out

awk数组操作,比如删除数组的元素:

[jerry]$ awk 'BEGIN {

fruits["mango"]="yellow";

fruits["orange"]="orange";

delete fruits["orange"];

print fruits["orange"]

}'

awk的逻辑语言ifelse:

[jerry]$ awk 'BEGIN {

a=30;

if (a==10)

  print "a = 10";

else if (a == 20)

  print "a = 20";

else if (a == 30)

  print "a = 30";

}'

awk的循环:

[jerry]$ awk 'BEGIN { for (i = 1; i <= 5; ++i) print i }'

[jerry]$ awk 'BEGIN {i = 1; while (i < 6) { print i; ++i } }'

awk里面有很多内置函数,数学函数,字符串函数,日期函数等。

还可以自定义函数。

awk也可以把输出重定向到文件:

[jerry]$ awk 'BEGIN { print "Hello, World !!!" > "/tmp/message.txt" }'

>> 双大于号是追加。

awk也可以使用管道:

[jerry]$ awk 'BEGIN { print "hello, world !!!" | "tr [a-z] [A-Z]" }'

相关文章
|
存储 机器学习/深度学习 Unix
sed 和 awk 使用方法 | 学习笔记
快速学习 sed 和 awk 使用方法。
|
Unix Shell BI
awk 手册
1. 前言 有关本手册 : 这是一本awk学习指引, 其重点着重于 : l        awk 适于解决哪些问题 ? l        awk 常见的解题模式为何 ? 为使读者快速掌握awk解题的模式及特性, 本手册系由一些较具代表性的范例及其题解所构成; 各范例由浅入深, 彼此间相互连贯,范例中并对所使用的awk语法及指令辅以必要的说明.
1154 0
|
Web App开发 人工智能 Shell
|
Shell 网络安全 Perl
|
MySQL 关系型数据库 Shell
|
Web App开发 Perl