写在开篇
不知道你们有没有过这样的经历:我们去某些网站注册帐号,当你在设置密码的时候,网站会提示你密码的长度范围,以及对应的规则限制,现在假设我们不知道正则表达式,作为程序员,该如何去实现这样一个密码验证呢?关于正则表达式一直都是个让很多我们都觉得很郁闷的一个东西,觉得创造正则表达式的那个家伙简直就是个奇葩,
什么是正则表达式?
- 正则表达式就是为了处理大量的文本|字符串而定义的一套规则和方法
- 通过定义的这些特殊符号的辅助,系统管理员就可以快速过滤,替换或输出需要的字符 串。Linux正则表达式一般以行为单位处理。
- 正则表达式是一种描述一组字符串的模式,类似数字表达式,通过各种操作符组成更小 的表达式
- 为什么使用正则表达式呢?
linux运维工作,大量过滤日志工作。简单,高效。正则表达式高级工具;三剑客都支持(grep,sed,awk)
- 注意事项
- 正则表达式应用非常广泛,存在于各种语言中,php perl grep sed awk 支持。ls * 通配符
- 但现在学的是Linux中的正则表达式,最常应用正则表达式的命令是 grep(egrep),sed,awk。
- 正则表达式和通配符有本质区别:
正则表达式用来找:【文件】内容,文本,字符串。一般只有三剑客支持,通配符用来找:文件名,普通命令都支持
正则表达式使用注意事项
- 1、linux正则表达式以行为单位处理字符串
- 2、便于区别过滤出来的字符串,一定配合grep/egrep命令学习。
正则表达式的分类
- POSIX规范将正则表达式的分为了两种
- 基本正则表达式(BRE,basic regular expression)
- 高级功能:扩展正则表达式(ERE,extended regular expression)
- BRE和ERE的区别仅仅是元字符的不同:
- BRE(基础正则表达式)只承认的元字符有^$.[]*其他字符识别为普通字符:()
- ERE (扩展正则表达式)则添加了(){}?+|等
- 只有在用反斜杠“\”进行转义的情况下,字符(){}才会在BRE被当作元字符处理,而ERE 中,任何元符号前面加上反斜杠反而会使其被当作普通字符来处理。
怎么玩区分通配符和正则表达式
- 不需要思考的判断方法:在三剑客awk,sed,grep,egrep都是正则,其他都是通配符
- 区别通配符和正则表达式最简单的方法:
- (1)文件目录名===>通配符
- (2)文件内容(字符串,文本【文件】内容)===>正则表达式
- 通配符和正则表达式都有“*”,“?”,“[]”,但是通配符的这些符号都能自身代表任意 字符,而正则表达式的这些符号只能代表这些符号前面的字符
基本正则表达式
字符 | 描述 |
^ | ^word搜索以word开头的内容 |
$ | word$搜索以word结尾的内容 |
^$ | 表示空行,不是空格 |
. | 代表且只能代表任意一个字符(不匹配空行) |
\ | 转义字符,让有特殊含义的字符脱掉马甲,现出原形,如.只表示小数点 |
* | 重复之前的字符或文本0个或多个,之前的文本或字符连续0次或多次 |
.* | 任意多个字符 |
^.* | 以任意多个字符串开头,.*尽可能多,有多少算多少,贪婪性 |
括号表达式 | |
[abc][0- 9][.,/] | 匹配字符集合内的任意一个字符a或b或c:[a-z]匹配所有小写字母;表示一个整 体,内藏无限可能;[abc]找a或b或c可以写成[a-c] |
[^abc] | 匹配不包含^后的任意字符a或b或c,是对[abc]的取反,且与^含义不同 |
a{n,m} | 重复前面a字符n到m次(如果用egrep或sed -r可去掉斜线) |
a{n,} | 重复前面a字符至少n次,如果用egrep或sed -r可去掉斜线 |
a{n} | 重复前面a字符n次,如果用egrep或sed -r可去掉斜线 |
扩展正则表达式ERE
特殊字符 | 描述 |
+ | 重复前一个字符一次或一次以上,前一个字符连续一个或多个,把连续的文本/ 字符取出 |
? | 重复前面一个字符0次或1次(.是有且只有1个) |
() | 分组过滤被括起来的东西表示一个整体(一个字符),后向引用 |
正则小结
- 基础正则:BRE
^ | $ | . | * | .* | [abc] | [^abc] |
- 扩展正则:ERE
+ | ? | () | {} | a{n,m} | a{n,} | a{n} |
转义字符:将字符的意思改变(不支持正则符号的,转变字符含义为正则,支持正则的转变 为普通字符含义)
- 基本正则和扩展正则区别
基础正则BRE | 扩展正则ERE |
? | ? |
+ | + |
{} | {} |
( \ ) | () |
- 所谓基础正则实际上就是得需要转义字符配合表达的正则,而扩展正则就是让命令扩展 它的权限让他直接就认识正则表达符号(egrep,sed -r,awk直接支持)
- 注意
- grep默认不支持正则,因此正则表达式的符号对于grep来说就等同于普通字符含 义,因此,想让grep直接处理正则符号必须通过转义字符{}来处理。
- grep -E 强制让grep直接认识正则符号,不需要再进行转义
- egrep 等效grep -E 天生就能认识正则符号
- 我们平时备份可以通过cp 文件名{,.bak}的形式进行,避免再打一次文件名 sed -r :让sed支持正则
补充说明
正则表达式 | 描述 | 示例 |
[:alnum:] | [a-zA-Z0-9]匹配任意一个字母或数字字符 | [[:alnum:]]+ |
[:alpha:] | 匹配任意一个字母字符(包括大小写字母) | [[:alpha:]]{4} |
[:blank:] | 空格与制表符(横向纵向) | [[:blank:]]* |
[:digit:] | 匹配任意一个数字字符 | [[:digit:]]? |
[:lower:] | 匹配小写字母 | [[:lower:]]{5,} |
[:upper:] | 匹配大写字母 | ([[:upper:]]+)? |
[:punct:] | 匹配标点符号 | [[:punct:]] |
[:space:] | 匹配一个包括换行符,回车等在内的所有空白符 | [[:space:]]+ |
[:graph:] | 匹配任何一个可以看得见的且可以打印的字符 | [[:graph:]] |
[:xdigit:] | 任何一个十六进制数 | [[:xdigit:]]+ |
[:cntrl:] | 任何一个控制字符(ASCII字符集中的前32个字符) | [[:cntrl:]] |
[:print:] | 任何一个可以打印的字符 | [[:print:]] |
元字符
正则表达式 | 描述 | 示例 |
\b | 单词边界 | \bcool\b匹配cool,不匹配coolant |
\B | 非单词边界 | cool\B匹配coolant不匹配cool |
\d | 单个数字字符 | b\db匹配b2b,不匹配bcb |
\D | 单个非数字字符 | b\Db匹配bcb不匹配b2b |
\w | 单个单词字符(字母,数字与_) | \w匹配1或a,不匹配& |
\W | 单个非单词字符 | \W匹配&,不匹配1或a |
\n | 换行符 | \n匹配一个新行 |
\s | 单个空白字符 | x\sx匹配xx,不匹配xx |
\S | 单个非空白字符 | x\S\x匹配xkx,不匹配xx |
\r | 回车 | \r匹配回车 |
\t | 横向制表符 | \t匹配一个横向制表符 |
\v | 垂直制表符 | \v匹配一个垂直制表符 |
\f | 换页符 | \f匹配一个换页符 |
写在最后
学会正则表达式还是有必要的,配合grep,egrep,sed -r,awk更为强大,至少以后你的同事写出来后,不会在脑子里出现 "这是写的啥玩意儿啊?怎么我看不懂呢" 的想法或者同事不会正则表达式就可以牛逼的说,让我来。