这是一篇关于正则表达式的文档，如果你是Linux系统管理员，那么你一定离不开它(正则表达式)了，
它可能出现在 grep/more/less/man/vi(m)/sed/awk/apache/nginx/haproxy 等等与linux 系统相关的地方，所以掌握正则表达式对于linux系统管理员很重要！
一 什么是正则表达式？
正则表达式是一种表示方式，让你可以查找匹配特定规则的文本
二 正则表达式分两类
1 BRE 基本正则表达式(Basic Regular Expression)
2 ERE 扩展正则表达式(Extended Regular Expression)
三 正则表达式由两部分组成
正则表达式由两部分组成，一般字符与特殊字符
1 一般字符，指的是没有任何特殊意义的字符，比如 abcdef123456等等用于表示其自身
2 特殊字符，又称为元字符(metacharacter)，见下表
POSIX BRE 与 ERE 元字符表
- 字符 BRE/ERE 模式含义
- \ 两者均可 关闭后边元字符的特殊意义
- . : 匹配任意单个字符,但换行符除外
- * : 匹配在它之前的重复任意次数的单个字符(包括0次，没有匹配)
- ^ : 匹配紧接着的正则表达式，在行手或者字符串的起始处
- $ : 匹配前面的正则表达式，在行尾后者字符串结尾处
- [...] : 匹配方括号内的任意字符，方括号内包含 - 连字符表示范围,^(第一位)表示取反
- \{n,m\} BRE 区间表达式，匹配在它前面的单个字符重复区间次数，1至9次；5次；1，至少1次
- \( \) BRE 后向引用，第一步将子表达式放在 \( 与 \)里,最多9个子表达式
- \n BRE 后向引用，第二步使用匹配的子表达式，如 \1，后向引用用于查找重复字，以及匹配引号时特别好用,如\(["']\).*\1，匹配单引号或者双引号括起来的子.
- {n,m} ERE 区间表达式与BRE相比少了反斜杠
- + ERE 匹配前面的正则表达式的一次或者多次
- ? ERE 匹配前面的正则表达式的一次或者零次
- | ERE 匹配|符号前或者后的正则表达式
- () ERE 匹配使用括号括起来的正则表达式群
四 正则表达式的优先级
正则表达式的优先级，指的是某个运算符根据优先级高低，将优先处理
- 1 BRE 优先级(由高至低)
- 运算符 含义
- [..] [==] [::] 用于字符排序的方括号符号
- \metacharacter 转义的元字符
- [ ] 方括号表达式
- \( \) \digit 子表达式与后向引用
- * \{ \} 重复前置的单个字符
- 无符号 连续的字符
- ^ $ 锚点
- 2 ERE 优先级(由高至低)
- 运算符 含义
- [..] [==] [::] 用于字符排序的方括号符号
- \metacharacter 转义的元字符
- [ ] 方括号表达式
- ( ) 分组
- * + ? {} 重复前置的正则表达式
- 无符号 连续的字符
- ^ $ 锚点
- | 交替
五 BRE 与 ERE 的不同
BRE 与 ERE 在大多数的元字符与功能应用上几乎是完全一致的，但是ERE里有些元字符看起来与BRE类似，却具有完全不同的意义
1 匹配单个字符；
ERE与BRE基本一致，比如一般字符，用于转义的反斜杠，以及方括号表达式
2 ERE中不存在后向引用；
圆括号在ERE中表示分组，而\( \)在ERE中表示匹配左括号与右括号
3 匹配单个表达式与多个正则表达式
ERE在匹配多字符这方面与BRE有很明显的不同(*处理方式上除外),比如 区间表达式不在需要使用反斜杠，而 ? 与 + 元字符可以更细腻的匹配控制
4 BRE中没有交替与分组
与BRE不同ERE中拥有交替字符"|"，用于匹配多个字符序列，比如 one|two|three|four ;
同上，ERE拥有分组"()"，用于表达式群，比如 (one)+ 用于匹配一个或多个连续的one ;
组合使用,如 this is (one|two) 或者 this is (one|two)* 匹配0个或多个one 或者 two;
5 停驻文本匹配(锚点)
"^"与"$" 在 BRE与 ERE表示的意义是相同的，需要注意的是它们在方括号表达式中将会失去它们的特殊意义；
组合使用，如 this is ^(one|two)$ 匹配one 或者 two
六 额外的GNU表达式运算符
- 运算符 含义
- \w 匹配任何单词
- \W 匹配任何非单词
- \< \> 匹配单词的起始或结尾
- \b 匹配单词的起始或结尾处，所找到的空字符串
- .....
七 简单例子
- 1 sed
- sed -r 's\|[ ]*//g'
- sed -r 's/[ ]+//g;s/^\||\|$//g' variables (注意 g 全局替换,如果不是用g 将只匹配每行的第一个)
- sed -r 's/[ ]+//g;s/(^\|)|(\|$)//g' variables (注意 （）分组 与没有使用括号分组，完成的功能一样)
- sed -r 's/\|[ ]//g;s/[ ]*\|$//g' variables
- sed -r 's/([ ]+)?\|//g;s/ //;/\+/d' variables
- sed -re 's/(\|)//g' variables | sed -e 's/[ ]\{2,\}/ /g' | sed -e '/^\+.*/d'
- sed -rf sed.sed variables
- cat sed.sed
- s/(\|)//g
- s/[ ]{2,}/ /g
- /^\+.*/d
- s/^( )|( )$//g
- 2 vim
- :10,$ s/^[\t]*/ / #行头所有换行符，用空格替换
- :10,30 s/^[ ]*/ / #行头有多个空格，用一个空格替换
- :10,30 g/^ *$/d #删除空行
- :10,20 s/[#].*/ / ##号后边的任意位字符串，用一个空格替换
- :6,9 s/^[ ]// #行头空格删掉！
- :1,$ s/\\n// #\n 删掉！
- :1,$ s/^[ ]//
- :10,20 s/[ ]\{2,\}// #重复两次以上的空格，删掉！
- :7,20 s/^/echo "/
- :7,20 s#$#\" >> /etc/rsyncd.conf# 分隔符是#，每行后添加 " >> /etc/rsyncd.conf
- :6,20 s/^/ / #行头添加俩个空格，注意 中间有俩空格！
- :% s/^/#/g #每行前添加#号，如果每行尾添加则^变成$即可，%表示全文！
- :% s/\(\d\+\.\)\{3\}\d\+//g #去掉 ip 地址（10.0.0.1)
- # 1. #!/bin/sh #空白为 空格
- .....
- 31. done #空白为 tab
- :% s/^\s\{2,\}\d\+\.//g #替换开头为空白或者tab ifs字符至少重复两次以上，接数字至少重复一次，接.号，全局替换
- # [url]com[/url]
- :% s#\[url\]\|\[/url\]##g #替换 [url]或者[/url]，注意 \| 表示或者
sed 杂记 20120606
- [root@linux ~]# sed [-nefr] [动作]
- 参数∶
- -n ∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN
- 的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过
- sed 特殊处理的那一行(或者动作)才会被列出来。
- -e ∶直接在指令列模式上进行 sed 的动作编辑；
- -f ∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的
- sed 动作；
- -r ∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
- -i ∶直接修改读取的档案内容，而不是由萤幕输出。
- 动作说明∶ [n1[,n2]]function
- n1, n2 ∶不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作
- 是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
- function 有底下这些咚咚∶
- a ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
- i ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
- c ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
- d ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
- p ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
- s ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配
- 正规表示法！例如 1,20s/old/new/g 就是啦！
- sed替换（WWW换成WEB）
- sed -ri 's/(COMPILE_INITS=).*/\10/' /install/ghostscript-8.63/Makefile (选项 -r 使用扩展正则表达式)
- sed -i 's/WWW/WEB/' dd.txt （匹配 WWW 用 WEB代替)
- sed -i "s/^/''/g" one.txt （注意 单引号与双引号，匹配每一行，把'' 添加到 行头部！）
- sed -i 's/.*index.html/DirectoryIndex index.html index.htm index.php/' /usr/local/apache/conf/httpd.conf
- sed -i '/AddType application\/x-gzip .gz .tgz/a\ AddType application\/x-httpd-php .php' /usr/local/apache/conf/httpd.conf
- (注意 a\ 在匹配这行之下添加一行!)
- sed -i '/export/a export PATH=$PATH:/usr/local/apache/bin' /etc/profile (别忘了 source /etc/profile)
- sed -n '/.*index.html/p' /usr/local/apache/conf/httpd.conf (.*捡破烂模式)
- sed -n '/\/usr\/local.*\/bin/p' /etc/profile
- sed -i '/\/usr\/local.*\/bin/d' /etc/profile
- sed -n '/\/usr\/local\/.*/p' /etc/ld.so.conf
- sed -n '/bz-clone/p' /etc/hosts
- 127.0.0.1bz-clone.test.com bz-clone localhost.localdomain localhost
- sed -i 's/bz-clone/cl3/g' /etc/hosts (注意 g 全局替换,如果不是用g 将只匹配每行的第一个)
- 127.0.0.1cl3.test.com cl3 localhost.localdomain localhost
- sed -n 's/^#/shell>/p' sed.txt ()
- sed -n 's/^#/shell>/p' sed.txt
- sed -i 's/^#/shell>/' sed.txt
- sed -n '/^ $/p' sed.txt
- sed -n '/^ $/d' sed.txt (注意 d 删除匹配这行)
- sed -r '/^sda/d' test1 d 删除^sda行
- sed -i '/^ $/d' sed.txt
- sed -n '/shell>/p' sed.txt
- sed '/shell>/i\ ' sed.txt
- sed -i '/shell>/i\ ' sed.txt (注意 i\ 在匹配这行之上添加一行！)
- sed '1 d' test
- sed '1,2 d' test
- sed -rn 's/[0-9 \t]+//p' a.txt
- bbb [ESXI] 10.0.0.1 10.0.0.2 DELL R910 SJHL E7520*1.86GHz*4/300G*4/32G
- | Uptime | 325453 |
- | Uptime_since_flush_status | 325453 |
- sed -r 's\|[ ]*//g'
- sed -r 's/[ ]+//g;s/^\||\|$//g' variables (注意 g 全局替换,如果不是用g 将只匹配每行的第一个)
- sed -r 's/[ ]+//g;s/(^\|)|(\|$)//g' variables (注意 （）分组 与没有使用括号分组，完成的功能一样)
- sed -r 's/\|[ ]//g;s/[ ]*\|$//g' variables
- sed -r 's/([ ]+)?\|//g;s/ //;/\+/d' variables
- sed -re 's/(\|)//g' variables | sed -e 's/[ ]\{2,\}/ /g' | sed -e '/^\+.*/d'
- sed -rf sed.sed variables
- cat sed.sed
- s/(\|)//g
- s/[ ]{2,}/ /g
- /^\+.*/d
- s/^( )|( )$//g
- （感慨 ）
- sed -in '$d' /etc/rc.local (注意 $ 最后一行)
- sed -r 's/(1.)|(2.)//g' en.txt | sort -n > tmp
- sed '/export/ a\export PATH=$PATH:/usr/local/subversion/bin' /etc/profile （这不是我想要的，在每一个export行，添加新的）
- sed '61,/export/ a\export PATH=$PATH:/usr/local/subversion/bin' /etc/profile (61， 为限定第61行)
- sed '$,/export/ a\export PATH=$PATH:/usr/local/subversion/bin' /etc/profile (注意 $ 最后一行)
- sed -i '$ a\/usr/local/apr-util/lib' /etc/ld.so.conf (在最后一行添加一行文本)
- sed -ri '/^$/d;s/(^[ \t]+)//g;' /var/www/rsync/rsync_file.list #-r拓展正则表达式，-i直接替换
本文转自 dongnan 51CTO博客，原文链接：
http://blog.51cto.com/dngood/758385
http://blog.51cto.com/dngood/758385
