文本操作三剑客之grep,再也不担心分析日志了

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 文本操作三剑客之grep,再也不担心分析日志了

说明: 文本查找工具,根据用户指定的“模式(过滤条件)”对目标文本逐行进行匹配检查,打印匹配到的行, 支持正则匹配。

命令格式:

grep [options] [pattern] file...

常用options参数说明:

参数缩写 参数完整名 作用
-a --text 不要忽略二进制数据
-A <行数> --after-context=<行数> 除了显示符合范本样式的那一行之外,并显示该行之后的内容
-b --byte-offset 在显示符合范本样式的那一行之外,并显示该行之前的内容
-B <行数> --before-context=<行数> 除了显示符合样式的那一行之外,并显示该行之前的内容
-c --count 计算符合范本样式的列数
-C <行数> --context=<行数> 除了显示符合范本样式的那一列之外,并显示该列之前后的内容
-i --ignore-case 忽略字符大小写的差别
-H --with-filename 在显示符合范本样式的那一列之前,标示该列的文件名称。
-n --line-number 在显示符合范本样式的那一列之前,标示出该列的编号。
-R/-r --recursive 此参数的效果和指定“-d recurse”参数相同
-l --file-with-matches 列出文件内容符合指定的范本样式的文件名称。
-v --revert-match 反转查找
-w --word-regexp 只显示全字符合的列
-m <数量> --max-count=<数量> 找到num行结果后停止查找,用来限制匹配行数

pattern说明:

可以支持正则表达式的模式。

模式 说明
'字符串' 匹配字符串的内容,如'abc', 匹配所有包含abc的行
行的开始 如:'^abc'匹配所有以abc开头的行
$ 行的结束 如:‘abc$’ 匹配所有以abc结尾的行
. 匹配一个非换行符的字符 如:'gr.p’匹配gr后接一个任意字符,然后是p
* 匹配零个或多个先前字符 如:’*abc’匹配所有一个或多个空格后紧跟grep的行
[] 匹配一个指定范围内的字符,如’[Gg]rep’匹配Grep和grep
[^] 匹配一个不在指定范围内的字符,如:’[^A-FH-Z]rep’匹配不包含A-R和T-Z的一个字母开头,紧跟rep的行
\w 匹配文字和数字字符,也就是[A-Za-z0-9],如:'G\w*p’匹配以G后跟零个或多个文字或数字字符,然后是p
x{m,} 重复字符x,至少m次,不多于n次,如:'o{5,10}'匹配5–10个o的行。

注意:正则中的特殊字符需要叫斜杆。

更多正则的内容可以查看:www.runoob.com/regexp/rege…

常见例子:

# 基本使用
grep yoursearchkeyword f.txt     #文件查找
grep 'KeyWord otherKeyWord' f.txt cpf.txt #多文件查找, 含空格加引号
grep 'KeyWord' /home/admin -r -n #目录下查找所有符合关键字的文件
grep 'keyword' /home/admin -r -n -i # -i 忽略大小写
grep 'KeyWord' /home/admin -r -n --include *.{vm,java} #指定文件后缀
grep 'KeyWord' /home/admin -r -n --exclude *.{vm,java} #反匹配


相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
目录
相关文章
|
21天前
|
SQL 存储 监控
|
21天前
|
监控 关系型数据库 MySQL
|
22天前
|
弹性计算 Serverless 应用服务中间件
Serverless 应用引擎操作报错合集之集成sls时出现报错,是什么导致的
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1天前
|
存储 监控 安全
Java企业级日志管理与分析
Java企业级日志管理与分析
|
4天前
|
监控 数据库
neo4j数据插入操作有日志吗
【6月更文挑战第29天】neo4j数据插入操作有日志吗
15 1
|
9天前
|
存储 运维 Java
Spring运维之boot项目开发关键之日志操作以及用文件记录日志
Spring运维之boot项目开发关键之日志操作以及用文件记录日志
21 2
|
13天前
|
SQL 监控 中间件
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
【应急响应】拒绝服务&钓鱼指南&DDOS压力测试&邮件反制分析&应用日志
|
14天前
|
存储 监控 安全
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台, 截至目前已在近百家行业内知名企业中落地。
《SelectDB 新一代日志存储分析平台解决方案》白皮书重磅发布|立即下载
|
21天前
|
SQL 监控 安全
|
2天前
|
SQL DataWorks Oracle
DataWorks产品使用合集之datax解析oracle增量log日志该如何操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
5 0