『正则表达式』概念 及在grep、awk、sed、C语言、Python中的简单应用

简介: 正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式。它可以用来检查一个字符串是否符合某个规则,或者从一个字符串中提取出符合某个规则的子串。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是由普通字符(例如字符 a 到 z)以及特殊字符(称为"元字符")组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。

目录

正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式。它可以用来检查一个字符串是否符合某个规则,或者从一个字符串中提取出符合某个规则的子串。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是由普通字符(例如字符 a 到 z)以及特殊字符(称为"元字符")组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。

一、元字符

正则表达式语法中使用的主要元字符包括:

  • . (点):匹配除换行符以外的任意字符。
  • ^ (脱字符):匹配输入字符串的开始位置。
  • $ (美元符号):匹配输入字符串的结束位置。
  • *(星号):匹配前面的子表达式零次或多次。
  • +(加号):匹配前面的子表达式一次或多次。
  • ? (问号):匹配前面的子表达式零次或一次。
  • {n}:n 是一个非负整数。匹配确定的 n 次。
  • {n,}:n 是一个非负整数。至少匹配 n 次。
  • {n,m}:m 和 n 均为非负整数,其中 n <= m。最少匹配 n 次且最多匹配 m 次。
  • […]:字符集合。匹配方括号中包含的任意字符。
  • [^…]:负值字符集合。匹配方括号中不包含的任意字符。


还有:

  1. “|”:或,匹配左右两边任意一个表达式
  2. “”:转义字符,用于转义特殊字符,使其具有原本的字符意义,例如匹配字符".“,需要使用”.“而不是”."。
  3. “\d”:匹配数字,相当于字符集[0-9]。
  4. “\D”:匹配非数字字符,相当于字符集[^0-9]。
  5. “\w”:匹配单词字符,包括数字、字母和下划线,相当于字符集[A-Za-z0-9_]。
  6. “\W”:匹配非单词字符,相当于字符集[^A-Za-z0-9_]。
  7. “\s”:匹配空白字符,包括空格、制表符和换行符等。
  8. “\S”:匹配非空白字符。
  9. “(?=exp)”:前向肯定断言,匹配exp前面的位置。
  10. “(?!exp)”:前向否定断言,匹配非exp前面的位置。


二、常用正则表达式

使用正则表达式往往比我们写几行if-else这样的代码更加方便,以下是一些常用的正则表达式的参考(写法不唯一,且规则因国家、地区、开发语言而异):

1.匹配邮箱地址:

/^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$/

2.匹配手机号码:

/^1([3-9])\d{9}$/

3.匹配固定电话号码:

/^\d{3}-\d{8}|\d{4}-\d{7}$/

4.匹配身份证号码:

/^\d{17}[\d|X|x]|\d{15}$/

5.匹配日期格式(yyyy-mm-dd):

/^\d{4}-\d{1,2}-\d{1,2}$/

6.匹配中文字符:

/[\u4e00-\u9fa5]/

7.匹配URL地址:

/^((http|https):\/\/)?([\w-]+\.)+[\w-]+(\/[\w-.\/?%&=]*)?$/

8.匹配邮政编码:

/^[1-9]\d{5}$/

9.匹配IP地址:

/^((\d{1,2}|1\d{2}|2[0-4]\d|25[0-5])\.){3}(\d{1,2}|1\d{2}|2[0-4]\d|25[0-5])$/

10.匹配HTML标签:

/^<[^>]+>$/

11.匹配正整数:

/^[1-9]\d*$/

12.匹配负整数:

/^-\d+$/

13.匹配正数(包括小数):

/^\d+(\.\d+)?$/

14.匹配非正数(包括小数):

/^((-\d+(\.\d+)?)|(0+(\.0+)?))$/

15.匹配非负数(包括小数):

/^\d+(\.\d+)?|0+(\.0+)?$/

16.匹配16进制颜色值:

/^#([0-9a-fA-f]{3}|[0-9a-fA-F]{6})$/

17.匹配密码强度(至少包含大写字母、小写字母、数字和特殊字符,长度至少为8位):

/^(?=.*[A-Z])(?=.*[a-z])(?=.*\d)(?=.*[@$!%*?&)])[A-Za-z\d@$!%*?&]{8,}$/

18.匹配车牌号码:

/^[A-Z]{1}[A-Z_0-9]{5}$/

19.匹配域名:

/^([a-zA-Z0-9][-a-zA-Z0-9]{0,62}\.){1,}[a-zA-Z]{2,}$/

20.匹配时间格式(hh:mm:ss):

/^([01]\d|2[0-3]):[0-5]\d:[0-5]\d$/

三、使用示例

3.1 在 grep、awk、sed中使用正则表达式

正则表达式和grep、awk、sed非常搭配。

例1: 使用grep匹配html文件中含有中文字符的行,并打印行号

 grep -nP '[\x{4e00}-\x{9fa5}]' index.html

d637922e984b2f13cc55b1b43bdfd5b4_8880428788b94be1aa546ea5a96c5c49.png

在grep中,使用Unicode字符范围来匹配中文需要使用16进制表示法,[\u4e00-\u9fa5]可以写成[\x{4e00}-\x{9fa5}]

例2: 使用awk匹配html文件中的块级标签:

awk '/^</' index.html

cd7e69ff75255263a83a55a3903df615_83664861053d483995d49d8703bdf798.png

例3:匹配html文件中的函数,并显示他们所在的行数

dahu@dahu MINGW64 ~/Desktop/gpt
dahu@dahu MINGW64 ~/Desktop/gpt
$ awk '/function/{print NR,$0}' index.html
145         function ask() {
247         function addText(text) {
251         function removeLine() {
257         function setCookie(name, value) {
269         function getCookie(name) {
279         function clear1() {


例4: 使用sed匹配含有response的行:

$ sed -n '/response/p' index.html
            ).then(response => {
                let resultstring = response.data.choices[0].message.content;
                let resultname = response.data.choices[0].message.role;

3.2 在Python中使用正则表达式

可以使用Python的内置re模块来使用正则表达式。

re模块提供了Perl风格的正则表达式模式,使Python语言拥有全部的正则表达式功能。常用的正则表达式函数有:re.search()re.match()re.findall()re.sub()等。

  • re.search():在字符串中查找模式,如果找到则返回Match对象,否则返回None。
  • re.match():从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。
  • re.findall():在字符串中查找模式,返回所有匹配到的字符串。
  • re.sub():用于替换字符串中的匹配项。


例5: 判断输入手机号是否正确

import re
def judge_phone_number(account):
    pattern = re.compile(r"^1([3-9])\d{9}$")
    if pattern.match(account):
        print("手机号码输入正确")
    else:
        print("手机号码输入错误")
judge_phone_number(input("请输入手机号:"))

7513c1e78307bb572ff985519e570864_98a1f3aa5af34f7d86d4a0bc0fc610ae.png

注:

Python个中的正则表达式放在单、双引号里面,前面加一个r表示原始字符串,不进行转义。

正则表达式一般放在//里面,不同语言有一些区别。

3.3 在C语言中使用正则表达式

在C语言中,可以使用POSIX标准库中的正则表达式库regex.h来编写和处理正则表达式。

C语言中处理正则表达式的函数有regcomp()regexec()regfree()regerror()等。

3.31 函数介绍

  • regcomp()函数:编译正则表达式。函数原型如下:
int regcomp(regex_t *preg, const char *regex, int cflags);

其中,preg是一个指向regex_t类型的指针,regex是一个指向正则表达式字符串的指针,cflags是编译标志。如果函数执行成功,返回值为0;否则,返回值为非0。

  • regexec()函数:执行匹配。函数原型如下:
int regexec(const regex_t *preg, const char *string, size_t nmatch, regmatch_t pmatch[], int eflags);

其中,preg是一个指向regex_t类型的指针,string是一个指向待匹配字符串的指针,nmatch是pmatch数组的长度,pmatch是一个指向regmatch_t类型的数组,eflags是执行标志。如果函数执行成功,返回值为0;否则,返回值为非0。

  • regfree()函数:释放内存。函数原型如下:
void regfree(regex_t *preg);

其中,preg是一个指向regex_t类型的指针。

  • regerror()函数:获取包含错误信息的字符串。函数原型如下:
size_t regerror(int errcode, const regex_t *preg, char *errbuf, size_t errbuf_size);

其中,errcode是错误代码,preg是一个指向regex_t类型的指针,errbuf是一个指向字符数组的指针,errbuf_size是字符数组的长度。如果函数执行成功,返回值为错误信息字符串的长度;否则,返回值为0。

3.32 例程

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <regex.h>
int main (void)
{
    char ebuff[256];
    int ret;
    int cflags;
    regex_t reg;
    cflags = REG_EXTENDED | REG_ICASE | REG_NOSUB;
    char *test_str = "Hello World";
    char *reg_str = "H.*";
    ret = regcomp(&reg, reg_str, cflags);
    if (ret)
    {   
        regerror(ret, &reg, ebuff, 256);
        fprintf(stderr, "%s\n", ebuff);
        goto end;
    }   
    ret = regexec(&reg, test_str, 0, NULL, 0);
    if (ret)
    {
        regerror(ret, &reg, ebuff, 256);
        fprintf(stderr, "%s\n", ebuff);
        goto end;
    }   
    regerror(ret, &reg, ebuff, 256);
    fprintf(stderr, "result is:\n%s\n", ebuff);
end:
    regfree(&reg);
    return 0;
}

4e4b2f946df2354b703b9899195ecaab_6afb7f79247e485ca74cc94c1d5b8518.png


相关文章
|
10天前
|
Python
python魔法方法如何应用
【4月更文挑战第12天】这个Python示例展示了类继承和方法重写。`Student`类继承自`Person`,并覆盖了`say_hello`方法。通过`super().__init__(name)`调用父类的`__init__`初始化`name`属性,`Student`添加了`age`属性,并在重写的`say_hello`中使用。创建`Student`实例`student`并调用其`say_hello`,输出定制的问候信息。
19 1
|
10天前
|
Python
python增量赋值运算的应用
Python中的增量赋值运算符用于便捷地执行算术操作,如`+=`, `-=`等,它们分别代表加法、减法、乘法、除法、取模、整除和幂运算。
12 1
|
10天前
|
Python
python一元运算符的应用
【4月更文挑战第12天】Python的一元运算符包括正号(+), 负号(-), 按位取反(~), 取绝对值(abs())和类型转换(int(), float(), str())。例如:`+a`使数值变正,`-a`变为负数,`~a`为按位取反,`abs(a)`获取绝对值,而`int(a)`, `float(a)`, `str(a)`则用于类型转换。示例代码展示了这些运算符的使用效果。
17 0
|
14天前
|
Python
Python文件操作学习应用案例详解
【4月更文挑战第7天】Python文件操作包括打开、读取、写入和关闭文件。使用`open()`函数以指定模式(如'r'、'w'、'a'或'r+')打开文件,然后用`read()`读取全部内容,`readline()`逐行读取,`write()`写入字符串。最后,别忘了用`close()`关闭文件,确保资源释放。
17 1
|
9天前
|
机器学习/深度学习 人工智能 算法
图像处理与分析:Python中的计算机视觉应用
【4月更文挑战第12天】Python在计算机视觉领域广泛应用,得益于其丰富的库(如OpenCV、Pillow、Scikit-image)和跨平台特性。图像处理基本流程包括获取、预处理、特征提取、分类识别及重建生成。示例代码展示了面部和物体检测,以及使用GAN进行图像生成。
|
2天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python构建简单的图像识别应用
本文将介绍如何利用Python语言及其相关库来构建一个简单但功能强大的图像识别应用。通过结合OpenCV和深度学习模型,我们将展示如何实现图像的特征提取和分类,从而实现对图像中物体的自动识别和分类。无需复杂的算法知识,只需一些基本的Python编程技巧,你也可以轻松地创建自己的图像识别应用。
|
4天前
|
数据挖掘 vr&ar Python
Python金融时间序列模型ARIMA 和GARCH 在股票市场预测应用
Python金融时间序列模型ARIMA 和GARCH 在股票市场预测应用
25 10
|
4天前
|
机器学习/深度学习 数据采集 供应链
从数据到决策:scikit-learn在业务分析中的应用
【4月更文挑战第17天】本文探讨了scikit-learn在业务分析中的应用,包括数据预处理、分类、回归和聚类模型的构建,以及模型评估与优化。通过使用scikit-learn,企业能有效处理数据、预测趋势、客户细分并制定决策,从而提升经营效率和市场策略。随着机器学习的发展,scikit-learn在业务分析领域的潜力将持续释放,创造更多价值。
|
4天前
|
机器学习/深度学习 算法
scikit-learn在回归问题中的应用与优化
【4月更文挑战第17天】本文探讨了scikit-learn在回归问题中的应用,介绍了线性回归、岭回归、SVR和决策树回归等算法,并提出优化策略,包括特征选择、超参数调优、交叉验证和集成学习。通过实践案例展示如何处理房价预测问题,强调了根据问题特点选择合适方法的重要性。
|
4天前
|
算法 Serverless 计算机视觉
SciPy的科学计算库的基础知识与应用
【4月更文挑战第17天】**SciPy**是Python的开源科学计算库,基于NumPy,包含优化、积分、线性代数、信号处理等模块。本文介绍了SciPy的基本使用,如线性代数(矩阵运算、特征值)、优化(最小化问题)、积分以及信号处理(滤波)。安装SciPy可使用`pip install scipy`。此外,还展示了图像处理和常微分方程求解的例子。SciPy是科学计算的重要工具,适用于各种数值问题。参考文献包括SciPy和NumPy官方文档。