linux正则表达式awk讲解

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

awk和sed一样是流式编辑器,它也是针对文档中的行来操作的,一行一行的去执行。awk比sed更加强大,它能做到sed能做到的,同样也能做到sed不能做到的。awk常用来分段;

awk不用加任何参数就可以实现 + ? * .  | 这些特殊符号;


1、截取文档中的某个段

1
2
3
4
5
6
7
8
9
[root@yonglinux ~] # head -n2 passwd |awk -F: '{print $1}'
root
bin
[root@yonglinux ~] # head -n2 passwd |awk -F: '{print $0}'
root:x:0:0:root: /root : /bin/bash
bin:x:1:1:bin: /bin : /sbin/nologin
[root@yonglinux ~] # head -n2 passwd |awk -F: '{print $1,$3,$7}'
root 0  /bin/bash
bin 1  /sbin/nologin

-F 选项的作用是指定分隔符,如果不加-F指定,则以空格或者tab为分隔符。 Print为打印的动作,用来打印出某个字段。$1为第一个字段,$2为第二个字段,依次类推,有一个特殊的那就是$0,它表示整行

{ }内可以打印多个字段$1,$3,$7 打印第1、3、7段,中间用逗号隔开;


打印分段默认分隔符为空格,可以自定义分隔符,分隔符需要用双引号括起来;也可以OFS定义输出分隔符

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@localhost ~] # awk -F: '{print $3,$4}' 1.txt |head -5
0 0
1 1
2 2
3 4
4 7
[root@localhost ~] # awk -F: '{print $3":"$4}' 1.txt |head -5
0:0
1:1
2:2
3:4
4:7
[root@localhost ~] # awk -F: 'OFS="#"{print $3,$4}' 1.txt |head -5
0 #0
1 #1
2 #2
3 #4
4 #7

1
2
3
[root@yonglinux ~] # head -n2 passwd |awk -F: '{print $1"#""@"$3"#"$7}'
root #@0#/bin/bash
bin #@1#/sbin/nologin

注意awk的格式,-F后紧跟单引号,然后里面为分隔符,print的动作要用 { } 括起来,否则会报错。print还可以打印自定义的内容,但是自定义的内容要用“”双引号括起来。



2、匹配字符或字符串

1
2
3
4
[root@yonglinux ~] # awk -F: '$1~/me/' passwd 
games:x:12:100:games: /usr/games : /sbin/nologin
[root@yonglinux ~] # awk -F: '$1~/user/' passwd 
user1:x:600:501:: /home/user1 : /bin/bash

可以让某个段去匹配,~ 表示匹配的意思,以冒号分隔第一字段然后匹配//里的关键字;

1
2
3
4
5
6
[root@yonglinux ~] # awk -F: '/root/ {print $1,$3} /user/ {print $1,$3}' passwd 
root 0
operator 11
ftp  14
saslauth 499
user1 600

awk还可以多次匹配,如上例全文匹配包含root关键词的行,再匹配包含user的行,打印所匹配的第1、3段。



3、条件操作符

判断第3个字段为0的

1
2
3
4
[root@yonglinux ~] # awk -F: '$3=="0"' passwd 
root:x:0:0:root: /root : /bin/bash
[root@yonglinux ~] # awk -F: '$3==10' passwd 
uucp:x:10:14:uucp: /var/spool/uucp : /sbin/nologin


判断第3个字段为10的并且打印该行的第7字段;

1
2
3
4
[root@yonglinux ~] # awk -F: '$3==10 {print $7}' passwd 
/sbin/nologin
[root@yonglinux ~] # awk -F: '$3=="600"' passwd 
user1:x:600:501:: /home/user1 : /bin/bash


awk中是可以用逻辑符号判断的,比如 ‘==’ 就是等于,也可以理解为 ‘精确匹配’ 另外也有 >, ‘>=, ‘<, ‘<=, ‘!= 等等,值得注意的是,在和数字比较时,若把比较的数字用双引号引起来后,那么awk不会认为是数字,而认为是字符,不加双引号则认为是数字


示例,双引号括起来认为是字符;加单引号和不加则认为是数字;

1
2
3
4
5
6
7
8
9
10
[root@yonglinux ~] # awk -F: '$3>"500"' passwd | sort -t: -k 3 -n 
shutdown :x:6:0: shutdown : /sbin : /sbin/shutdown
halt:x:7:0:halt: /sbin : /sbin/halt
mail:x:8:12:mail: /var/spool/mail : /sbin/nologin
vcsa:x:69:69:virtual console memory owner: /dev : /sbin/nologin
sshd:x:74:74:privilege-separated  ssh : /var/empty/sshd : /sbin/nologin
dbus:x:81:81:system message bus:/: /sbin/nologin
postfix:x:89:89:: /var/spool/postfix : /sbin/nologin
nobody:x:99:99:nobody:/: /sbin/nologin
user1:x:600:501:: /home/user1 : /bin/bash
1
2
3
4
[root@yonglinux ~] # awk -F: '$3>500' passwd | sort -t: -k 3 -n 
user1:x:600:501:: /home/user1 : /bin/bash
[root@yonglinux ~] # awk -F: '$3>'500'' passwd | sort -t: -k 3 -n 
user1:x:600:501:: /home/user1 : /bin/bash


!= 为不匹配第7字段不等于/sbin/nologin的行,需要用双引号括起来。

1
2
3
4
5
6
7
[root@yonglinux ~] # awk -F: '$7!="/sbin/nologin"' passwd 
root:x:0:0:root: /root : /bin/bash
sync :x:5:0: sync : /sbin : /bin/sync
shutdown :x:6:0: shutdown : /sbin : /sbin/shutdown
halt:x:7:0:halt: /sbin : /sbin/halt
user1:x:600:501:: /home/user1 : /bin/bash
mysql:x:27:27:MySQL Server: /var/lib/mysql : /bin/bash


除了针对某一个段的字符进行逻辑比较外,还可以两个段之间进行逻辑比较。

示例,加双引号之后把数字当字符看;

1
2
3
4
[root@yonglinux ~] # awk -F: '$3>"5" && $3<"7"' passwd 
shutdown :x:6:0: shutdown : /sbin : /sbin/shutdown
vcsa:x:69:69:virtual console memory owner: /dev : /sbin/nologin
user1:x:600:501:: /home/user1 : /bin/bash

示例,加单引号之后为数字比较;

1
2
[root@yong ~] # awk -F: '$3>'5' && $3<'7' {print }' passwd
shutdown :x:6:0: shutdown : /sbin : /sbin/shutdown


另外还可以使用 && “并且”和  || “或者” 的意思。

示例,打印第3段大于第4段,并且第7段为/bin/bash的行;

1
2
[root@yonglinux ~] # awk -F: '$3>$4 && $7=="/bin/bash"' passwd 
user1:x:600:501:: /home/user1 : /bin/bash


示例,打印第3段小于第4段,或者第7段为/bin/bash的行;

1
2
3
4
5
6
7
8
9
10
11
[root@yonglinux ~] # awk -F: '$3<$4 || $7=="/bin/bash"' passwd 
root:x:0:0:root: /root : /bin/bash
adm:x:3:4:adm: /var/adm : /sbin/nologin
lp:x:4:7:lp: /var/spool/lpd : /sbin/nologin
mail:x:8:12:mail: /var/spool/mail : /sbin/nologin
uucp:x:10:14:uucp: /var/spool/uucp : /sbin/nologin
games:x:12:100:games: /usr/games : /sbin/nologin
gopher:x:13:30:gopher: /var/gopher : /sbin/nologin
ftp :x:14:50: ftp  user: /var/ftp : /sbin/nologin
user1:x:600:501:: /home/user1 : /bin/bash
mysql:x:27:27:mysql server: /var/lib/mysql : /bin/bash


4、awk的内置变量

awk常用的变量有:

NF :用分隔符分隔后一共有多少段

NR :行数

{print NR":"NF}    列出行号,以冒号分隔,列出共有多少段;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@yonglinux ~] # head -5 passwd |awk -F: '{print NR":"NF}'
1:7
2:7
3:7
4:7
5:7
[root@yonglinux ~] # head -5 passwd |awk -F: '{print NF}'
7
7
7
7
7
[root@yonglinux ~] # head -5 passwd |awk -F: '{print NR}'
1
2
3
4
5
[root@yonglinux ~] # head -5 passwd |awk -F: '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
NF 表示是多少段,而$NF是最后一段的值, 而NR则是行号。

5、awk中的数学运算
awk还可以对各个段的值进行数学运算:
1
2
[root@yonglinux ~] # awk -F: '{(tot=tot+$3)};END {print tot};' passwd 
1720

这里的END要注意一下,表示所有的行都已经执行,这是awk特有的语法,其实awk连同sed都可以写成一个脚本文件,而且有他们特有的语法,在awk中使用if判断、for循环都是可以的。


示例,if判断,如第一段的值为root,打印整行;

1
2
[root@yonglinux ~] # awk -F: '{if ($1=="root") print $0}' passwd 
root:x:0:0:root: /root : /bin/bash

示例,for循环,定义sum变量,i值为第3段的值;求第3段的和;

1
2
[root@yonglinux ~] # sum=0;for i in `awk -F: '{print $3}' passwd`;do sum=$[($sum+$i)];done;echo $sum
1720







本文转自 模范生 51CTO博客,原文链接:http://blog.51cto.com/mofansheng/1633022,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
26天前
|
Linux Perl
百度搜索:蓝易云【Linux常用命令awk】
以上仅是awk命令的一些常见用法,它还有许多更复杂的功能和用法,可以根据需要灵活运用。awk在文本处理和数据分析中非常实用,是Linux系统中的一把利器。
20 2
|
2月前
|
网络协议 关系型数据库 MySQL
Linux awk
Linux awk
26 0
|
2月前
|
监控 Linux BI
linux命令之awk
linux命令之awk
20 4
|
3月前
|
Unix Java Linux
Linux脚本中的字符处理与awk编程|WC统计
Linux脚本中的字符处理与awk编程|WC统计
39 0
|
4月前
|
存储 Linux Shell
Linux awk命令
除了使用 sed 命令,Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。 曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。 和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。awk 命令的基本格式为: [root@localhost ~]# awk [选项] '脚本命令' 文件名
|
5月前
|
Unix 测试技术 Linux
软件测试|Linux三剑客之awk命令详解
软件测试|Linux三剑客之awk命令详解
55 0
|
6月前
|
Unix Linux
如何在 Linux 中使用 Grep 和正则表达式进行文本搜索?
如何在 Linux 中使用 Grep 和正则表达式进行文本搜索?
178 5
|
7月前
|
Linux Perl
百度搜索:蓝易云【linux系统awk命令使用详解】
Awk是一种强大的文本处理工具,在Linux系统中广泛使用。它可以读取文件、处理数据并输出结果,通常与其他Linux命令一起使用。在本篇文章中,我们将详细讲解Awk的使用方法,帮助读者了解这个工具的基本原理和常见用法。
55 0
|
25天前
|
Linux Shell
Linux下的Shell基础——正则表达式入门(四)
Linux下的Shell基础——正则表达式入门(四)
21 1
Linux下的Shell基础——正则表达式入门(四)
|
2月前
|
Linux Perl
【linux】awk用法:在每行新增额外字符串
【linux】awk用法:在每行新增额外字符串
17 0

相关产品

  • 云迁移中心