正则表达式是一种符号表示法，被用来识别文本模式。在某种程度上，它们与匹配 文件和路径名的 shell 通配符比较相似，但其规模更庞大。许多命令行工具和大多数的编程语言 都支持正则表达式，以此来帮助解决文本操作问题。
一、正则表达式的字符组成
|
1
|
^ $ . [ ] { } - ? * + ( ) | \
|
二、grep
grep 程序会在文本文件中查找一个指定的正则表达式，并把匹配行输出到标准输出。
|
1
2
3
|
[root@node1 ~]
# grep root /etc/passwd
root:x:0:0:root:
/root
:
/bin/bash
operator:x:11:0:operator:
/root
:
/sbin/nologin
|
这个命令列出了文件/etc/passwd中含有root的行。
语法规则:
grep [options] regex [file……]
其中regex是正则表达式
常用选项
选项描述
-i忽略大小写。不会区分大小写字符。也可用--ignore-case 来指定。
-v不匹配。通常，grep 程序会打印包含匹配项的文本行。这个选项导致 grep 程序 只会不包含匹配项的文本行。也可用--invert-match 来指定。
-c打印匹配的数量（或者是不匹配的数目，若指定了-v 选项），而不是文本行本身。 也可用--count 选项来指定。
-l打印包含匹配项的文件名，而不是文本行本身，也可用--files-with-matches 选项来指定。
-L相似于-l 选项，但是只是打印不包含匹配项的文件名。也可用--files-without-match 来指定。
-n在每个匹配行之前打印出其位于文件中的相应行号。也可用--line-number 选项来指定。
-h应用于多文件搜索，不输出文件名。也可用--no-filename 选项来指定。
-E 增强型的grep程序
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
root@node1 ~]
# grep -l lhl *
grep
: 160822.bak: Is a directory
a.txt
grep
: bin: Is a directory
username.conf
[root@node1 ~]
# grep "^lhl" a.txt //以lhl开头的行
lhl:x:0:0:lhl:
/lhl
:
/bin/bash
[root@node1 ~]
# grep "bash$" a.txt //以bash结尾的行
lhl:x:0:0:lhl:
/lhl
:
/bin/bash
[root@node1 ~]
# grep -n \' a.txt //\的作用取消字符反义
12:uucp:x:10:14:
'uucp'
:
/var/spool/uucp
:
/sbin/nologin
[root@node1 ~]
# grep l[az] a.txt //查找以l之后从a~z的行
saslauth:x:499:76:Saslauthd user:
/var/empty/saslauth
:
/sbin/nologin
[root@node1 ~]
# grep -v "^#" a.txt //查找不一警号开头的行
lhl:x:0:0:lhl:
/lhl
:
/bin/bash
bin:x:1:1:bin:
/bin
:
/sbin/nologin
daemon:x:2:2:daemon:
/sbin
:
/sbin/nologin
[root@node1 ~]
# grep [4,6] -n a.txt //有数字4~6的行
4:
#adm:x:3:4:adm:/var/adm:/sbin/nologin
5:
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
9:
#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
[root@xuegod60 ~]
# grep^g.*g a.txt //以g开头和以g结束的行
games:x:12:100:games:
/usr/games
:
/sbin/nologin
|
注意：
\? 用于修饰前导字符，表示前导字符出现0或1次
\+ 用于修饰前导字符，表示前导字符出现1或多次 例：a\+匹配1或多个a
\{n,m\} 用于修饰前导字符，表示前导字符出现n至m次（n和m都是整数，且n<m）
例：a\{3,5\}匹配3至5个连续的a
|
1
2
3
4
|
[root@node1 ~]
# grep 'lhl\{1,2\}' a.txt //出现lhl的行在1个或2个
lhl:x:0:0:lhl:
/lhl
:
/bin/bash
#operator:x:11:0:operator:/lhl:/sbin/nologin
[root@node1 ~]
# grep '\<lhl\>' a.txt //精确匹配
|
二、sed编辑器
sed是一种在线编辑器，其处理方式是每次处理一行内容，处理时，把当前的行存储在临时缓冲区中，sed则直接处理缓冲区中的内容，并将处理过后的内容送往屏幕显示，接着处理下一行直至文件内容末尾。
sed语法：
sed [选项] '[命令]' 文件
选项及参数
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
-n 抑制自动(默认的) 输出 *** 读取下一个输入行
-e 表示直接在命令行模式上进行
sed
的操作，是默认的选项，可以不写
-f 将
sed
操作写在一个文件里，用的的方法则是：“-f filename”就可以按照内容进行
sed
的操作了。
-i 表示插入，后接字符串，添加到当前行的上一行
-i.bak 编辑的同时创造.bak的备份
-r 使用扩展的正则表达式 ***
参数:
a 在匹配后追加 ***
i 在匹配前插入 ***
p 打印某个选择数据，通常与-n安静模式一起使用。 ***
d 删除 ***
r
/R
读取文件/一行
w 另存
s 查找，还可以替换，可参考vim里面的搜索替换功能。% s
/root/lhl/g
全部替换。
c 替换，后接字符串，用它代替n1到n2行之间的行
y 替换
h
/H
复制拷贝/追加模式空间(缓冲区)到存放空间
g
/G
粘贴从存放空间取回/追加到模式空间
x 两个空间内容的交换
n
/N
拷贝/追加下一行内容到当前
D 删除\n之前的内容
P 打印\n之前的内容
b 无条件跳转
t 满足匹配后的跳转
T 不满足匹配时跳转
|
常用分隔符：_、/、|、.等
[root@node1 ~]# sed 's/lhl/root/g' a.txt //替换操作
用 & 表示匹配的字符串
[root@xuegod60 ~]# sed 's/root/(&)/' /etc/passwd>
sed 默认只替换搜索字符串的第一次出现 , 利用 /g 可以替换搜索字符串所有
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[root@node1 ~]
#sed -e '3,5s/nologin/bash/' -e'9,11s/sbin/bin/' passwd > b.txt //同时替换多项内容：-e
[root@node1 ~]
#sed -n '3p' passwd #显示文件第三行
daemon:x:2:2:daemon:
/sbin
:
/sbin/nologin
[root@node1 ~]
# cat -n /etc/passwd | sed -n '2,5p' //显示2—5行的内容p与-n选项配合使用
2 bin:x:1:1:bin:
/bin
:
/sbin/nologin
3 daemon:x:2:2:daemon:
/sbin
:
/sbin/nologin
4 adm:x:3:4:adm:
/var/adm
:
/sbin/nologin
5 lp:x:4:7:lp:
/var/spool/lpd
:
/sbin/nologin
[root@node1
test
]
#sed -n '1,3!p' passwd //显示文件除前三行之外的全部内容
[root@node1 ~]
# cat -n /etc/passwd | sed -n '3,+3p'//显示第三行及第三行之后的内容
3 daemon:x:2:2:daemon:
/sbin
:
/sbin/nologin
4 adm:x:3:4:adm:
/var/adm
:
/sbin/nologin
5 lp:x:4:7:lp:
/var/spool/lpd
:
/sbin/nologin
6
sync
:x:5:0:
sync
:
/sbin
:
/bin/sync
[root@node1 ~]
# sed'1i###' passwd //在文件头插入“###”如果没有1的话则是在每一行之前插入###
[root@node1 ~]
# sed'$a@@@' passwd //在文件尾插入"@@@"
|
注意：nl命令在linux系统中用来计算文件中行号。nl可以将输出的文件内容自动的加上行号
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[root@node1 ~]
#sed '2a hello \ //在文件的第二行后插入两行内容
> how are your?'
passwd
[root@node1 ~]
#sed '3c$$$'passwd //把文件第三行替换成“$$$”
[root@node1 ~]
# sed '$c####' passwd //把文件的最后一行替换成####
[root@node1 ~]
#nl /etc/passwd | sed '2ahello' //nl显示行号，而空行的行号则不显示
注意：
sed
的-i选项可以直接修改文件中的内容
[root@node1 ~]
#sed -i 's/root/rm/' passwd
复制粘贴
把文件的第二行到第四行复制到文件的末尾
[root@node1 ~]
#sed '2,4H;$G'passwd > b.txt
h
/H
复制拷贝/追加模式空间(缓冲区)到存放空间
g
/G
粘贴从存放空间取回/追加到模式空间
删除空行 d 删除 ***
[root@node1 ~]
#sed '/^$/d' passwd > c.txt //删除空行显示
[root@node1 ~]
#sed '/xfs/w newfstab' /etc/fstab //把fstab中包含xfs的记录（行）写入新的文件中
|
[root@node1 ~]# cat a.txt | sed 's/#.*$//g' | sed '/^$/d' //删除文件的注释部分并删除空行。
[root@node1 ~]# cat a.txt | sed 's/^[ ]* //g' //删除行首空格
[root@node1 ~]# sed -i "s/lhl/$var1/g" a.txt //变量替换
[root@node1 ~]# cat a.txt
###:x:0:0:###:/###:/bin/bash
awk的应用
（1）打印出eth0ip地址。
[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F [:" "]+ '{print $4}'
192.168.213.100
或：
[root@node1 ~]# ifconfig eth0 | grep "inet addr:" | awk -F: '{print $2}' | awk '{print $1}'
192.168.213.100
awk的默认分隔符是空格，默认输出是$0,一整行内容。
awk '/root/{print}' passwd 或awk '/root/' passwd从 //打印出文件passwd中包含root的行
awk 'length$0>40 {print NR $0}' nginxd,sh //显示文件nginxd.sh内容中超过40个字符的行号。其中NR作为awk的内置标志符不需要使用$符号，而如果引用自定义变量只需要$符号，且自定义变量需要与awk保留字不同。
awk '/[Rr]estart/,/[Rr]eload/ {print $1}' nginxd,sh //显示文件nginxd.sh中包含Restart/restart和Reload/reload的行中第一个字符。
解释：awk -F [:" "]表示awk 以空格作为分隔符，然后打印出第4列参数
