6.8 sed q 退出脚本命令
q 命令的作用是使 sed 命令在第一次匹配任务结束后,退出 sed 程序,不再进行对后续数据的处理。
6.8.1 sed ‘1q’ test [第一次匹配后退出]
root@ubuntu-admin-a1:/home/sedTest# sed '1q' test hello world,hello hani.
7. sed 脚本命令的寻址方式/定址
定址用于决定对哪些行进行编辑。
地址的形式可以是数字、正则表达式、或二者的结合。
如果没有指定地址,sed将处理输入文件的所有行。
如果只想将命令作用于特定行或某些行,则必须写明 address 部分,表示的方法有以下 2 种:
以数字形式指定行区间;
用文本模式指定具体行区间。
7.1 以数字形式指定行区间
7.1.1 sed ‘1,4s/hani/HANI/’ test [多行替换]
root@ubuntu-admin-a1:/home/sedTest# sed '1,4s/hani/HANI/' test hello world,hello HANI. hello world,hello HANI. HANI is a good man,hani is handsome. this is the test script of sed test. linux sed 123456789 /aaa/bbb/ccc 其中,sed 's/hani/HANI/' test 默认所有都替换
7.2 用文本模式指定行区间
sed 允许指定文本模式来过滤出命令要作用的行
格式:
/pattern/command
二.awk
awk
这里是最常用的几个操作例子:
三.grep
- 功能:模式匹配语言
- 参考:《awk工作原理》
- awk是一种编程语言,用于在*nix下对文本和数据进行处理;
- 数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出;
- 它支持用户自定义函数和动态正则表达式等先进功能,是*nix下的一个强大编程工具;
- 它可以在命令行中使用,但更多是作为脚本来使用;
- awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处;
- 灵活性是awk一大的优势。
- awk脚本是由模式和操作组成的;
模式可以是以下任意一个:
正则表达式:使用通配符的扩展集;
关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。
模式匹配表达式:用运算符~(匹配)和~!(不匹配);
BEGIN语句块、pattern语句块、END语句块;
操作由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号内,主要部分是:
变量或数组赋值
输出命令
内置函数
控制流语句
- 选项:
- -F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F: -v var=value 赋值一个用户定义变量,将外部变量传递给awk -f scripfile 从脚本文件中读取awk命令 -m[fr] val 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
- -F:指定将输入分离器
- -f:指定程序的源文件
- –help:显示帮助信息
- –version:显示版本信息
- 示例:
假设文件1.txt的文本如下(可以利用touch命令和vi命令组合创建):
1. hello world 2. wold hello 3. nothing is important 4. i like movie movie hello world wold hello nothing is important i like movie movie
awk
命令可以用来过滤文本,简单理解就是对文本的每行执行命令awk
指定的脚本,它的基本命令格式如下:
awk 'BEGIN{ commands } pattern{ commands } END{ commands }' file
其中:
- 'BEGIN{ commands } 指定最开始执行的脚本
- pattern{ commands } 对文件的每一行遍历,判断是否满足pattern的模式,如果满足则执行脚本
- 打印“开始”,打印每行,打印“结束”: awk 'BEGIN{ print "开始" } { print } END{ print "结束" }' 1.txt
- 打印每行的行号:awk '{print NR}' 1.txt
- 打印每行的文本:awk '{print $0}' 1.txt
- 打印每行的第1列(默认用空格分离):awk '{print $1}' 1.txt
- 打印每行的最后1列(默认用空格分离):awk '{print $NF}' 1.txt
- 打印每行的倒数第2列(默认用空格分离):awk '{print $(NF-1)}' 1.txt
- 打印每行,并为每行带上行号:awk '{print NR":",$0}' 1.txt
- 打印含有序号的行:awk '/\d./ {print}' 1.txt
- END{ commands } 指定最后执行的脚本
grep作用
Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。 grep全称是Global Regular Expression Print,表示全局正则表达式版本。 它的使用权限是所有用户。
grep格式
grep [选项] ”模式“ [文件]
常用选项:
-E :开启扩展(Extend)的正则表达式。
-i :忽略大小写(ignore case)。
-v :反过来(invert),只打印没有匹配的,而匹配的反而不打印。
-n :显示行号
-w :被匹配的文本只能是单词,而不能是单词中的某一部分,如文本中有liker,而我搜寻的只是like,就可以使用-w选项来避免匹配liker
-c :显示总共有多少行被匹配到了,而不是显示被匹配到的内容,注意如果同时使用-cv选项是显示有多少行没有被匹配到。
-o :只显示被模式匹配到的字符串。
--color :将匹配到的内容以颜色高亮显示。
-A n:显示匹配到的字符串所在的行及其后n行,after
-B n:显示匹配到的字符串所在的行及其前n行,before
-C n:显示匹配到的字符串所在的行及其前后各n行,context
模式部分:
1、直接输入要匹配的字符串,这个可以用fgrep(fast grep)代替来提高查找速度,比如我要匹配一下hello.c文件中printf的个数:grep -c "printf" hello.c
2、使用基本正则表达式,下面谈关于基本正则表达式的使用:
匹配字符:
. :任意一个字符。
[abc] :表示匹配一个字符,这个字符必须是abc中的一个。
[a-zA-Z] :表示匹配一个字符,这个字符必须是a-z或A-Z这52个字母中的一个。
[^123] :匹配一个字符,这个字符是除了1、2、3以外的所有字符。
对于一些常用的字符集,系统做了定义:
[A-Za-z] 等价于 [[:alpha:]]
[0-9] 等价于 [[:digit:]]
[A-Za-z0-9] 等价于 [[:alnum:]]
tab,space 等空白字符 [[:space:]]
[A-Z] 等价于 [[:upper:]]
[a-z] 等价于 [[:lower:]]
标点符号 [[:punct:]]
匹配次数:
\{m,n\} :匹配其前面出现的字符至少m次,至多n次。
\? :匹配其前面出现的内容0次或1次,等价于\{0,1\}。
* :匹配其前面出现的内容任意次,等价于\{0,\},所以 ".*" 表述任意字符任意次,即无论什么内容全部匹配。
位置锚定:
^ :锚定行首
$ :锚定行尾。技巧:"^$"用于匹配空白行。
\b或\<:锚定单词的词首。如"\blike"不会匹配alike,但是会匹配liker
\b或\>:锚定单词的词尾。如"\blike\b"不会匹配alike和liker,只会匹配like
\B :与\b作用相反。
分组及引用:
string :将string作为一个整体方便后面引用
\1 :引用第1个左括号及其对应的右括号所匹配的内容。
\2 :引用第2个左括号及其对应的右括号所匹配的内容。
\n :引用第n个左括号及其对应的右括号所匹配的内容。
grep常用例子
-例1 在文件中查找模式(单词)
在/etc/passwd文件中查找单词“linuxtechi” grep linuxtechi /etc/passwd
-例2 在多个文件中查找模式。
grep linuxtechi /etc/passwd /etc/shadow /etc/gshadow
-例3 使用-l参数列出包含指定模式的文件的文件名。
root@Linux-world:~# grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab /etc/passwd /etc/shadow root@Linux-world:~#
grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab
-例4 使用-n参数,在文件中查找指定模式并显示匹配行的行号
grep -n root /etc/passwd /etc/shadow
-例5 使用-v参数输出不包含指定模式的行
输出/etc/passwd文件中所有不含单词“linuxtechi”的行 grep -v linuxtechi /etc/passwd
-例6 使用 ^ 符号输出所有以某指定模式开头的行
Bash脚本将 ^ 符号视作特殊字符,用于指定一行或者一个单词的开始。 例如输出/etc/passes文件中所有以“root”开头的行 root@Linux-world:~# grep ^root /etc/passwd root:x:0:0:root:/root:/bin/bash root@Linux-world:~#
-例7 使用 $ 符号输出所有以指定模式结尾的行。
输出/etc/passwd文件中所有以“bash”结尾的行。 root@Linux-world:~# grep bash$ /etc/passwd root:x:0:0:root:/root:/bin/bash linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash root@Linux-world:~# Bash脚本将美元($)符号视作特殊字符,用于指定一行或者一个单词的结尾。
-例8 使用 -r 参数递归地查找特定模式
root@Linux-world:~# grep -r linuxtechi /etc/ /etc/subuid:linuxtechi:100000:65536 /etc/group:adm:x:4:syslog,linuxtechi /etc/group:cdrom:x:24:linuxtechi /etc/group:sudo:x:27:linuxtechi /etc/group:dip:x:30:linuxtechi /etc/group:plugdev:x:46:linuxtechi /etc/group:lpadmin:x:115:linuxtechi /etc/group:linuxtechi:x:1000: /etc/group:sambashare:x:131:linuxtechi /etc/passwd-:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash /etc/passwd:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash ............................................................................ 上面的命令将会递归的在/etc目录中查找“linuxtechi”单词
-例9 使用 grep 查找文件中所有的空行
root@Linux-world:~# grep ^$ /etc/shadow root@Linux-world:~# 由于/etc/shadow文件中没有空行,所以没有任何输出
-例10 使用 -i 参数查找模式
grep命令的-i参数在查找时忽略字符的大小写。 我们来看一个例子,在paswd文件中查找“LinuxTechi”单词。 nextstep4it@localhost:~$ grep -i LinuxTechi /etc/passwd linuxtechi:x:1001:1001::/home/linuxtechi:/bin/bash nextstep4it@localhost:~$
-例11 使用 -e 参数查找多个模式
例如,我想在一条grep命令中查找‘linuxtechi’和‘root’单词,使用-e参数,我们可以查找多个模式。 root@Linux-world:~# grep -e "linuxtechi" -e "root" /etc/passwd root:x:0:0:root:/root:/bin/bash linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash root@Linux-world:~#
-例12 使用 -f 用文件指定待查找的模式
首先,在当前目录中创建一个搜索模式文件“grep_pattern”,我想文件中输入的如下内容。 root@Linux-world:~# cat grep_pattern ^linuxtechi root false$ root@Linux-world:~# 现在,试试使用grep_pattern文件进行搜索 root@Linux-world:~# grep -f grep_pattern /etc/passwd
-例13 使用 -c 参数计算模式匹配到的数量
继续上面例子,我们在grep命令中使用-c命令计算匹配指定模式的数量 root@Linux-world:~# grep -c -f grep_pattern /etc/passwd 22 root@Linux-world:~#
-例14 输出匹配指定模式行的前或者后面N行
a)使用-B参数输出匹配行的前4行 root@Linux-world:~# grep -B 4 "games" /etc/passwd
b)使用-A参数输出匹配行的后4行 root@Linux-world:~# grep -A 4 "games" /etc/passwd
c)使用-C参数输出匹配行的前后各4行 root@Linux-world:~# grep -C 4 "games" /etc/passwd