Python-初识正则表达式-指定匹配简单的日志数据

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Python-初识正则表达式-指定匹配简单的日志数据

本章来小讲一下正则表达式的运用。

测试数据

测试数据是本公司的部分日志信息,截了一小段出来。用于练习正则。

[18:51:02]+CONNECTION TIME OUT
[18:51:11]+DISCONNECT
[18:51:13]+CONNECTED>>0x11899AAC51E3
[18:51:14]
[18:51:15]# 
[18:51:21]# log 4
[18:51:21]4
[18:51:22]# 
[18:51:22]------info(11.001)------
[18:51:22]<charge>
[18:51:22]vol    : 676 mv
[18:51:22]cur    : 1 ma
[18:51:22]status : null
[18:51:22]chgen  : 0
[18:51:22]pwout  : 1
[18:51:22]<warn>

万能匹配公式(.*?)

我愿称之为傻瓜式匹配,一起来看看,为什么这么说

如上数据,我需要匹配出CONNECTED>>0x11899AAC51E3中的"0x"

import re
datas = """
[18:51:02]+CONNECTION TIME OUT
[18:51:11]+DISCONNECT
[18:51:13]+CONNECTED>>0x11899AAC51E3
"""
values = re.findall(">>(.*?)1",datas)
print(values)  # ['0x']

至于为什么使用findall无需疑惑,后面都会讲到。这里的意思就是在全部数据中匹配出介于">>"与"1"之间的数据,也就是0x。

那么我想匹配其他数据呢,例如"cur"

import re
datas = """
[18:51:22]<charge>
[18:51:22]vol    : 676 mv
[18:51:22]cur    : 1 ma
[18:51:22]status : null
"""
values = re.findall("](.*?): 1",datas)
print(values)  # ['cur    ']

这也就是,为什么称之为傻瓜式匹配了,你需要什么数据,原封不动的讲所需的数据前后的字符都抄上来即可,当然记得将(.*?)带上。

缺点也很明显,不够灵活,不够方便,如上数据匹配出来就会带有很多空格。

精准匹配

接上面的例子。

import re
datas = """
[18:51:22]<charge>
[18:51:22]vol    : 676 mv
[18:51:22]cur    : 1 ma
[18:51:22]status : null
"""
values = re.findall("](c\w*)\s",datas)
print(values)

这里用到了\s与\w,\s是匹配空白字符。\w是匹配单词字符。在这里的作用是匹配0个或多个。\w也就是匹配0个或者多个单词字符。

所以此处的意思是,从"]"匹配以c开头的0个或多个单词字符一直到空白字符结束。也久成功的匹配出了cur

匹配时间戳

上述例子中 ,需要将所有的时间戳匹配出来,怎么操作?照样可以(.*?)

import re
datas = """
[18:51:22]<charge>
[18:51:22]vol    : 676 mv
[18:51:22]cur    : 1 ma
[18:51:22]status : null
"""
values = re.findall("\[(.*?)\]",datas)
print(values)
# ['18:51:22', '18:51:22', '18:51:22', '18:51:22']

稍微有点不同的是,这里需要转义一下"[]",不然无法正常匹配到。



小结

本章5个知识点,注意举一反三

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
107 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
4天前
|
Python
在Python中,可以使用内置的`re`模块来处理正则表达式
在Python中,可以使用内置的`re`模块来处理正则表达式
12 5
|
7天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
16 1
|
8天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
9天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
21天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
48 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
|
5天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
7天前
|
索引 Python
SciPy 空间数据1
SciPy 通过 `scipy.spatial` 模块处理空间数据,如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形,用于计算面积。Delaunay 三角剖分是一种常用方法,可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
15 0
|
5月前
|
数据库 Python
Python网络数据抓取(8):正则表达式
Python网络数据抓取(8):正则表达式
53 2
|
5月前
|
自然语言处理 JavaScript 前端开发
Python高级语法与正则表达式(二)
正则表达式描述了一种字符串匹配的模式,可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。