linux中最为常用的三大文本(grep,sed,awk)处理工具(下)

简介: linux中最为常用的三大文本(grep,sed,awk)处理工具

6.8 sed q 退出脚本命令


q 命令的作用是使 sed 命令在第一次匹配任务结束后,退出 sed 程序,不再进行对后续数据的处理。


6.8.1 sed ‘1q’ test [第一次匹配后退出]


root@ubuntu-admin-a1:/home/sedTest# sed '1q' test 
hello world,hello hani.


7. sed 脚本命令的寻址方式/定址


定址用于决定对哪些行进行编辑。


地址的形式可以是数字、正则表达式、或二者的结合。


如果没有指定地址,sed将处理输入文件的所有行。


如果只想将命令作用于特定行或某些行,则必须写明 address 部分,表示的方法有以下 2 种:


以数字形式指定行区间;


用文本模式指定具体行区间。


7.1 以数字形式指定行区间


7.1.1 sed ‘1,4s/hani/HANI/’ test [多行替换]


root@ubuntu-admin-a1:/home/sedTest# sed '1,4s/hani/HANI/' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
其中,sed 's/hani/HANI/' test 默认所有都替换


7.2 用文本模式指定行区间


sed 允许指定文本模式来过滤出命令要作用的行


格式:


/pattern/command


二.awk


awk


这里是最常用的几个操作例子:


三.grep


  • 功能:模式匹配语言


  1. 参考:《awk工作原理》


  1. awk是一种编程语言,用于在*nix下对文本和数据进行处理;


  1. 数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出;


  1. 它支持用户自定义函数和动态正则表达式等先进功能,是*nix下的一个强大编程工具;


  1. 它可以在命令行中使用,但更多是作为脚本来使用;


  1. awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处;


  1. 灵活性是awk一大的优势。


  1. awk脚本是由模式和操作组成的;


模式可以是以下任意一个:


正则表达式:使用通配符的扩展集;


关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。


模式匹配表达式:用运算符~(匹配)和~!(不匹配);


BEGIN语句块、pattern语句块、END语句块;


操作由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号内,主要部分是:


变量或数组赋值


输出命令


内置函数


控制流语句


  • 选项:


  1. -F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F: -v var=value 赋值一个用户定义变量,将外部变量传递给awk -f scripfile 从脚本文件中读取awk命令 -m[fr] val 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。


  1. -F:指定将输入分离器


  1. -f:指定程序的源文件


  1. –help:显示帮助信息


  1. –version:显示版本信息


  • 示例:


假设文件1.txt的文本如下(可以利用touch命令和vi命令组合创建):


1. hello world
2. wold hello
3. nothing is important
4. i like movie movie
hello world
wold hello
nothing is important
i like movie movie


awk 命令可以用来过滤文本,简单理解就是对文本的每行执行命令awk指定的脚本,它的基本命令格式如下:


awk 'BEGIN{ commands } pattern{ commands } END{ commands }' file


其中:


  • 'BEGIN{ commands } 指定最开始执行的脚本


  • pattern{ commands } 对文件的每一行遍历,判断是否满足pattern的模式,如果满足则执行脚本


  • 打印“开始”,打印每行,打印“结束”: awk 'BEGIN{ print "开始" } { print } END{ print "结束" }' 1.txt


  • 打印每行的行号:awk '{print NR}' 1.txt


  • 打印每行的文本:awk '{print $0}' 1.txt


  • 打印每行的第1列(默认用空格分离):awk '{print $1}' 1.txt


  • 打印每行的最后1列(默认用空格分离):awk '{print $NF}' 1.txt


  • 打印每行的倒数第2列(默认用空格分离):awk '{print $(NF-1)}' 1.txt


  • 打印每行,并为每行带上行号:awk '{print NR":",$0}' 1.txt


  • 打印含有序号的行:awk '/\d./ {print}' 1.txt


  • END{ commands } 指定最后执行的脚本


grep作用

Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。
grep全称是Global Regular Expression Print,表示全局正则表达式版本。
它的使用权限是所有用户。


grep格式


grep  [选项]  ”模式“  [文件]


常用选项:


 -E :开启扩展(Extend)的正则表达式。


 -i :忽略大小写(ignore case)。


 -v :反过来(invert),只打印没有匹配的,而匹配的反而不打印。


 -n :显示行号


 -w :被匹配的文本只能是单词,而不能是单词中的某一部分,如文本中有liker,而我搜寻的只是like,就可以使用-w选项来避免匹配liker


 -c :显示总共有多少行被匹配到了,而不是显示被匹配到的内容,注意如果同时使用-cv选项是显示有多少行没有被匹配到。


 -o :只显示被模式匹配到的字符串。


 --color :将匹配到的内容以颜色高亮显示。


 -A  n:显示匹配到的字符串所在的行及其后n行,after


 -B  n:显示匹配到的字符串所在的行及其前n行,before


 -C  n:显示匹配到的字符串所在的行及其前后各n行,context


模式部分:


 1、直接输入要匹配的字符串,这个可以用fgrep(fast grep)代替来提高查找速度,比如我要匹配一下hello.c文件中printf的个数:grep  -c  "printf"  hello.c


 2、使用基本正则表达式,下面谈关于基本正则表达式的使用:


   匹配字符:


     . :任意一个字符。


     [abc] :表示匹配一个字符,这个字符必须是abc中的一个。


     [a-zA-Z] :表示匹配一个字符,这个字符必须是a-z或A-Z这52个字母中的一个。


     [^123] :匹配一个字符,这个字符是除了1、2、3以外的所有字符。


     对于一些常用的字符集,系统做了定义:


     [A-Za-z] 等价于 [[:alpha:]]


     [0-9] 等价于 [[:digit:]]


     [A-Za-z0-9] 等价于 [[:alnum:]]


     tab,space 等空白字符 [[:space:]]


     [A-Z] 等价于 [[:upper:]]


     [a-z] 等价于 [[:lower:]]


     标点符号 [[:punct:]]


      匹配次数:


     \{m,n\} :匹配其前面出现的字符至少m次,至多n次。


     \? :匹配其前面出现的内容0次或1次,等价于\{0,1\}。


     * :匹配其前面出现的内容任意次,等价于\{0,\},所以 ".*" 表述任意字符任意次,即无论什么内容全部匹配。


      位置锚定:


     ^ :锚定行首


     $ :锚定行尾。技巧:"^$"用于匹配空白行。


     \b或\<:锚定单词的词首。如"\blike"不会匹配alike,但是会匹配liker


     \b或\>:锚定单词的词尾。如"\blike\b"不会匹配alike和liker,只会匹配like


     \B :与\b作用相反。


      分组及引用:


     string :将string作为一个整体方便后面引用


       \1 :引用第1个左括号及其对应的右括号所匹配的内容。


       \2 :引用第2个左括号及其对应的右括号所匹配的内容。


       \n :引用第n个左括号及其对应的右括号所匹配的内容。


grep常用例子


-例1 在文件中查找模式(单词)


在/etc/passwd文件中查找单词“linuxtechi”
 grep linuxtechi /etc/passwd


-例2 在多个文件中查找模式。


grep linuxtechi /etc/passwd /etc/shadow /etc/gshadow


-例3 使用-l参数列出包含指定模式的文件的文件名。


root@Linux-world:~# grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab
/etc/passwd
/etc/shadow
root@Linux-world:~#


 grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab


-例4 使用-n参数,在文件中查找指定模式并显示匹配行的行号


grep -n root /etc/passwd /etc/shadow



-例5 使用-v参数输出不包含指定模式的行


输出/etc/passwd文件中所有不含单词“linuxtechi”的行
grep -v linuxtechi /etc/passwd


-例6 使用 ^ 符号输出所有以某指定模式开头的行


Bash脚本将 ^ 符号视作特殊字符,用于指定一行或者一个单词的开始。
例如输出/etc/passes文件中所有以“root”开头的行
root@Linux-world:~# grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash
root@Linux-world:~#


-例7 使用 $ 符号输出所有以指定模式结尾的行。


输出/etc/passwd文件中所有以“bash”结尾的行。
root@Linux-world:~# grep bash$ /etc/passwd
root:x:0:0:root:/root:/bin/bash
linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
root@Linux-world:~#
Bash脚本将美元($)符号视作特殊字符,用于指定一行或者一个单词的结尾。


-例8 使用 -r 参数递归地查找特定模式


root@Linux-world:~# grep -r linuxtechi /etc/
/etc/subuid:linuxtechi:100000:65536
/etc/group:adm:x:4:syslog,linuxtechi
/etc/group:cdrom:x:24:linuxtechi
/etc/group:sudo:x:27:linuxtechi
/etc/group:dip:x:30:linuxtechi
/etc/group:plugdev:x:46:linuxtechi
/etc/group:lpadmin:x:115:linuxtechi
/etc/group:linuxtechi:x:1000:
/etc/group:sambashare:x:131:linuxtechi
/etc/passwd-:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
/etc/passwd:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
............................................................................
上面的命令将会递归的在/etc目录中查找“linuxtechi”单词


-例9 使用 grep 查找文件中所有的空行


root@Linux-world:~# grep ^$ /etc/shadow
root@Linux-world:~#
由于/etc/shadow文件中没有空行,所以没有任何输出


-例10 使用 -i 参数查找模式


grep命令的-i参数在查找时忽略字符的大小写。
我们来看一个例子,在paswd文件中查找“LinuxTechi”单词。
nextstep4it@localhost:~$ grep -i LinuxTechi /etc/passwd
linuxtechi:x:1001:1001::/home/linuxtechi:/bin/bash
nextstep4it@localhost:~$


-例11 使用 -e 参数查找多个模式


例如,我想在一条grep命令中查找‘linuxtechi’和‘root’单词,使用-e参数,我们可以查找多个模式。
root@Linux-world:~# grep -e "linuxtechi" -e "root" /etc/passwd
root:x:0:0:root:/root:/bin/bash
linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
root@Linux-world:~#


-例12 使用 -f 用文件指定待查找的模式


首先,在当前目录中创建一个搜索模式文件“grep_pattern”,我想文件中输入的如下内容。
root@Linux-world:~# cat grep_pattern
^linuxtechi
root
false$
root@Linux-world:~#
现在,试试使用grep_pattern文件进行搜索
root@Linux-world:~# grep -f grep_pattern /etc/passwd



-例13 使用 -c 参数计算模式匹配到的数量


继续上面例子,我们在grep命令中使用-c命令计算匹配指定模式的数量
root@Linux-world:~# grep -c -f grep_pattern /etc/passwd
22
root@Linux-world:~#


-例14 输出匹配指定模式行的前或者后面N行


a)使用-B参数输出匹配行的前4行
root@Linux-world:~# grep -B 4 "games" /etc/passwd


b)使用-A参数输出匹配行的后4行
root@Linux-world:~# grep -A 4 "games" /etc/passwd


c)使用-C参数输出匹配行的前后各4行
root@Linux-world:~# grep -C 4 "games" /etc/passwd
相关文章
|
16天前
|
监控 Unix Linux
Linux操作系统调优相关工具(四)查看Network运行状态 和系统整体运行状态
Linux操作系统调优相关工具(四)查看Network运行状态 和系统整体运行状态
30 0
|
16天前
|
Linux
Linux操作系统调优相关工具(三)查看IO运行状态相关工具 查看哪个磁盘或分区最繁忙?
Linux操作系统调优相关工具(三)查看IO运行状态相关工具 查看哪个磁盘或分区最繁忙?
21 0
|
21小时前
|
存储 Linux Shell
Linux|Awk 变量、数字表达式和赋值运算符
Linux|Awk 变量、数字表达式和赋值运算符
5 2
|
1天前
|
JSON Unix Linux
Linux系统之jq工具的基本使用
Linux系统之jq工具的基本使用
24 1
|
2天前
|
监控 安全 Linux
Linux系统之安装ServerBee服务器监控工具
【4月更文挑战第22天】Linux系统之安装ServerBee服务器监控工具
40 2
|
2天前
|
编解码 Linux 数据安全/隐私保护
linux工具之curl与wget高级使用
linux工具之curl与wget高级使用
|
13天前
|
Linux
Linux 指令|date|cal|find|grep|热键
Linux 指令|date|cal|find|grep|热键
|
1月前
|
搜索推荐 Linux 开发工具
【Linux】深入理解awk命令
【Linux】深入理解awk命令
45 0
|
5月前
|
存储 Linux Shell
Linux awk命令
除了使用 sed 命令,Linux 系统中还有一个功能更加强大的文本数据处理工具,就是 awk。 曾有人推测 awk 命令的名字来源于 awkward 这个单词。其实不然,此命令的设计者有 3 位,他们的姓分别是 Aho、Weingberger 和 Kernighan,awk 就取自这 3 为大师姓的首字母。 和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。awk 命令的基本格式为: [root@localhost ~]# awk [选项] '脚本命令' 文件名
73 1
|
6月前
|
Unix 测试技术 Linux
软件测试|Linux三剑客之awk命令详解
软件测试|Linux三剑客之awk命令详解
68 0