『正则表达式』概念 及在grep、awk、sed、C语言、Python中的简单应用

简介: 正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式。它可以用来检查一个字符串是否符合某个规则,或者从一个字符串中提取出符合某个规则的子串。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是由普通字符(例如字符 a 到 z)以及特殊字符(称为"元字符")组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。

目录

正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式。它可以用来检查一个字符串是否符合某个规则,或者从一个字符串中提取出符合某个规则的子串。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是由普通字符(例如字符 a 到 z)以及特殊字符(称为"元字符")组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。

一、元字符

正则表达式语法中使用的主要元字符包括:

  • . (点):匹配除换行符以外的任意字符。
  • ^ (脱字符):匹配输入字符串的开始位置。
  • $ (美元符号):匹配输入字符串的结束位置。
  • *(星号):匹配前面的子表达式零次或多次。
  • +(加号):匹配前面的子表达式一次或多次。
  • ? (问号):匹配前面的子表达式零次或一次。
  • {n}:n 是一个非负整数。匹配确定的 n 次。
  • {n,}:n 是一个非负整数。至少匹配 n 次。
  • {n,m}:m 和 n 均为非负整数,其中 n <= m。最少匹配 n 次且最多匹配 m 次。
  • […]:字符集合。匹配方括号中包含的任意字符。
  • [^…]:负值字符集合。匹配方括号中不包含的任意字符。


还有:

  1. “|”:或,匹配左右两边任意一个表达式
  2. “”:转义字符,用于转义特殊字符,使其具有原本的字符意义,例如匹配字符".“,需要使用”.“而不是”."。
  3. “\d”:匹配数字,相当于字符集[0-9]。
  4. “\D”:匹配非数字字符,相当于字符集[^0-9]。
  5. “\w”:匹配单词字符,包括数字、字母和下划线,相当于字符集[A-Za-z0-9_]。
  6. “\W”:匹配非单词字符,相当于字符集[^A-Za-z0-9_]。
  7. “\s”:匹配空白字符,包括空格、制表符和换行符等。
  8. “\S”:匹配非空白字符。
  9. “(?=exp)”:前向肯定断言,匹配exp前面的位置。
  10. “(?!exp)”:前向否定断言,匹配非exp前面的位置。


二、常用正则表达式

使用正则表达式往往比我们写几行if-else这样的代码更加方便,以下是一些常用的正则表达式的参考(写法不唯一,且规则因国家、地区、开发语言而异):

1.匹配邮箱地址:

/^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$/

2.匹配手机号码:

/^1([3-9])\d{9}$/

3.匹配固定电话号码:

/^\d{3}-\d{8}|\d{4}-\d{7}$/

4.匹配身份证号码:

/^\d{17}[\d|X|x]|\d{15}$/

5.匹配日期格式(yyyy-mm-dd):

/^\d{4}-\d{1,2}-\d{1,2}$/

6.匹配中文字符:

/[\u4e00-\u9fa5]/

7.匹配URL地址:

/^((http|https):\/\/)?([\w-]+\.)+[\w-]+(\/[\w-.\/?%&=]*)?$/

8.匹配邮政编码:

/^[1-9]\d{5}$/

9.匹配IP地址:

/^((\d{1,2}|1\d{2}|2[0-4]\d|25[0-5])\.){3}(\d{1,2}|1\d{2}|2[0-4]\d|25[0-5])$/

10.匹配HTML标签:

/^<[^>]+>$/

11.匹配正整数:

/^[1-9]\d*$/

12.匹配负整数:

/^-\d+$/

13.匹配正数(包括小数):

/^\d+(\.\d+)?$/

14.匹配非正数(包括小数):

/^((-\d+(\.\d+)?)|(0+(\.0+)?))$/

15.匹配非负数(包括小数):

/^\d+(\.\d+)?|0+(\.0+)?$/

16.匹配16进制颜色值:

/^#([0-9a-fA-f]{3}|[0-9a-fA-F]{6})$/

17.匹配密码强度(至少包含大写字母、小写字母、数字和特殊字符,长度至少为8位):

/^(?=.*[A-Z])(?=.*[a-z])(?=.*\d)(?=.*[@$!%*?&)])[A-Za-z\d@$!%*?&]{8,}$/

18.匹配车牌号码:

/^[A-Z]{1}[A-Z_0-9]{5}$/

19.匹配域名:

/^([a-zA-Z0-9][-a-zA-Z0-9]{0,62}\.){1,}[a-zA-Z]{2,}$/

20.匹配时间格式(hh:mm:ss):

/^([01]\d|2[0-3]):[0-5]\d:[0-5]\d$/

三、使用示例

3.1 在 grep、awk、sed中使用正则表达式

正则表达式和grep、awk、sed非常搭配。

例1: 使用grep匹配html文件中含有中文字符的行,并打印行号

 grep -nP '[\x{4e00}-\x{9fa5}]' index.html

d637922e984b2f13cc55b1b43bdfd5b4_8880428788b94be1aa546ea5a96c5c49.png

在grep中,使用Unicode字符范围来匹配中文需要使用16进制表示法,[\u4e00-\u9fa5]可以写成[\x{4e00}-\x{9fa5}]

例2: 使用awk匹配html文件中的块级标签:

awk '/^</' index.html

cd7e69ff75255263a83a55a3903df615_83664861053d483995d49d8703bdf798.png

例3:匹配html文件中的函数,并显示他们所在的行数

dahu@dahu MINGW64 ~/Desktop/gpt
dahu@dahu MINGW64 ~/Desktop/gpt
$ awk '/function/{print NR,$0}' index.html
145         function ask() {
247         function addText(text) {
251         function removeLine() {
257         function setCookie(name, value) {
269         function getCookie(name) {
279         function clear1() {


例4: 使用sed匹配含有response的行:

$ sed -n '/response/p' index.html
            ).then(response => {
                let resultstring = response.data.choices[0].message.content;
                let resultname = response.data.choices[0].message.role;

3.2 在Python中使用正则表达式

可以使用Python的内置re模块来使用正则表达式。

re模块提供了Perl风格的正则表达式模式,使Python语言拥有全部的正则表达式功能。常用的正则表达式函数有:re.search()re.match()re.findall()re.sub()等。

  • re.search():在字符串中查找模式,如果找到则返回Match对象,否则返回None。
  • re.match():从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
  • re.findall():在字符串中查找模式,返回所有匹配到的字符串。
  • re.sub():用于替换字符串中的匹配项。


例5: 判断输入手机号是否正确

import re
def judge_phone_number(account):
    pattern = re.compile(r"^1([3-9])\d{9}$")
    if pattern.match(account):
        print("手机号码输入正确")
    else:
        print("手机号码输入错误")
judge_phone_number(input("请输入手机号:"))

7513c1e78307bb572ff985519e570864_98a1f3aa5af34f7d86d4a0bc0fc610ae.png

注:

Python个中的正则表达式放在单、双引号里面,前面加一个r表示原始字符串,不进行转义。

正则表达式一般放在//里面,不同语言有一些区别。

3.3 在C语言中使用正则表达式

在C语言中,可以使用POSIX标准库中的正则表达式库regex.h来编写和处理正则表达式。

C语言中处理正则表达式的函数有regcomp()regexec()regfree()regerror()等。

3.31 函数介绍

  • regcomp()函数:编译正则表达式。函数原型如下:
int regcomp(regex_t *preg, const char *regex, int cflags);

其中,preg是一个指向regex_t类型的指针,regex是一个指向正则表达式字符串的指针,cflags是编译标志。如果函数执行成功,返回值为0;否则,返回值为非0。

  • regexec()函数:执行匹配。函数原型如下:
int regexec(const regex_t *preg, const char *string, size_t nmatch, regmatch_t pmatch[], int eflags);

其中,preg是一个指向regex_t类型的指针,string是一个指向待匹配字符串的指针,nmatch是pmatch数组的长度,pmatch是一个指向regmatch_t类型的数组,eflags是执行标志。如果函数执行成功,返回值为0;否则,返回值为非0。

  • regfree()函数:释放内存。函数原型如下:
void regfree(regex_t *preg);

其中,preg是一个指向regex_t类型的指针。

  • regerror()函数:获取包含错误信息的字符串。函数原型如下:
size_t regerror(int errcode, const regex_t *preg, char *errbuf, size_t errbuf_size);

其中,errcode是错误代码,preg是一个指向regex_t类型的指针,errbuf是一个指向字符数组的指针,errbuf_size是字符数组的长度。如果函数执行成功,返回值为错误信息字符串的长度;否则,返回值为0。

3.32 例程

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <regex.h>
int main (void)
{
    char ebuff[256];
    int ret;
    int cflags;
    regex_t reg;
    cflags = REG_EXTENDED | REG_ICASE | REG_NOSUB;
    char *test_str = "Hello World";
    char *reg_str = "H.*";
    ret = regcomp(&reg, reg_str, cflags);
    if (ret)
    {   
        regerror(ret, &reg, ebuff, 256);
        fprintf(stderr, "%s\n", ebuff);
        goto end;
    }   
    ret = regexec(&reg, test_str, 0, NULL, 0);
    if (ret)
    {
        regerror(ret, &reg, ebuff, 256);
        fprintf(stderr, "%s\n", ebuff);
        goto end;
    }   
    regerror(ret, &reg, ebuff, 256);
    fprintf(stderr, "result is:\n%s\n", ebuff);
end:
    regfree(&reg);
    return 0;
}

4e4b2f946df2354b703b9899195ecaab_6afb7f79247e485ca74cc94c1d5b8518.png


相关文章
|
5月前
|
存储 Java 数据处理
(numpy)Python做数据处理必备框架!(一):认识numpy;从概念层面开始学习ndarray数组:形状、数组转置、数值范围、矩阵...
Numpy是什么? numpy是Python中科学计算的基础包。 它是一个Python库,提供多维数组对象、各种派生对象(例如掩码数组和矩阵)以及用于对数组进行快速操作的各种方法,包括数学、逻辑、形状操作、排序、选择、I/0 、离散傅里叶变换、基本线性代数、基本统计运算、随机模拟等等。 Numpy能做什么? numpy的部分功能如下: ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组 用于对整组数据进行快速运算的标准数学函数(无需编写循环)。 用于读写磁盘数据的工具以及用于操作内存映射文件的工具。 线性代数、随机数生成以及傅里叶变换功能。 用于集成由C、C++
486 1
|
6月前
|
监控 数据可视化 数据挖掘
Python Rich库使用指南:打造更美观的命令行应用
Rich库是Python的终端美化利器,支持彩色文本、智能表格、动态进度条和语法高亮,大幅提升命令行应用的可视化效果与用户体验。
501 0
|
7月前
|
数据采集 监控 Java
Python 函数式编程的执行效率:实际应用中的权衡
Python 函数式编程的执行效率:实际应用中的权衡
334 102
|
9月前
|
机器学习/深度学习 数据采集 算法
Python AutoML框架选型攻略:7个工具性能对比与应用指南
本文系统介绍了主流Python AutoML库的技术特点与适用场景,涵盖AutoGluon、PyCaret、TPOT、Auto-sklearn、H2O AutoML及AutoKeras等工具,帮助开发者根据项目需求高效选择自动化机器学习方案。
998 1
|
8月前
|
存储 数据可视化 BI
Python可视化应用——学生成绩分布柱状图展示
本程序使用Python读取Excel中的学生成绩数据,统计各分数段人数,并通过Matplotlib库绘制柱状图展示成绩分布。同时计算最高分、最低分及平均分,实现成绩可视化分析。
627 0
|
6月前
|
机器学习/深度学习 算法 安全
【强化学习应用(八)】基于Q-learning的无人机物流路径规划研究(Python代码实现)
【强化学习应用(八)】基于Q-learning的无人机物流路径规划研究(Python代码实现)
431 6
|
6月前
|
设计模式 缓存 运维
Python装饰器实战场景解析:从原理到应用的10个经典案例
Python装饰器是函数式编程的精华,通过10个实战场景,从日志记录、权限验证到插件系统,全面解析其应用。掌握装饰器,让代码更优雅、灵活,提升开发效率。
420 0
|
7月前
|
数据采集 存储 数据可视化
Python网络爬虫在环境保护中的应用:污染源监测数据抓取与分析
在环保领域,数据是决策基础,但分散在多个平台,获取困难。Python网络爬虫技术灵活高效,可自动化抓取空气质量、水质、污染源等数据,实现多平台整合、实时更新、结构化存储与异常预警。本文详解爬虫实战应用,涵盖技术选型、代码实现、反爬策略与数据分析,助力环保数据高效利用。
408 0
|
8月前
|
存储 监控 安全
企业上网监控系统中红黑树数据结构的 Python 算法实现与应用研究
企业上网监控系统需高效处理海量数据,传统数据结构存在性能瓶颈。红黑树通过自平衡机制,确保查找、插入、删除操作的时间复杂度稳定在 O(log n),适用于网络记录存储、设备信息维护及安全事件排序等场景。本文分析红黑树的理论基础、应用场景及 Python 实现,并探讨其在企业监控系统中的实践价值,提升系统性能与稳定性。
429 1
|
7月前
|
存储 程序员 数据处理
Python列表基础操作全解析:从创建到灵活应用
本文深入浅出地讲解了Python列表的各类操作,从创建、增删改查到遍历与性能优化,内容详实且贴近实战,适合初学者快速掌握这一核心数据结构。
630 0

推荐镜像

更多