使用 awk 命令统计文本

简介: 下面只是在工作中可能会遇到的一个场景,所以记录下来,如果小伙伴有更合适的方式来统计计算,欢迎留言。

网络异常,图片无法展示
|

2022-04-19 11:25:15.008,b4d13bfca8fe4b93a85e65a88520d945,LogScheduler#printLog,10ms,Y,xxxxxxxx
2022-04-19 12:01:15.002,4d10d093dce8491c8ae3c1bff6dbd7c5,LogScheduler#printLog,999ms,N,xxxxxxxx
2022-04-19 12:12:16.003,d9d1f4b121764edb8cb260417cd75229,LogScheduler#printLog,5ms,Y,xxxxxxxx
2022-04-19 12:15:22.004,e3e10340e51c49ce9d688541ba799283,LogScheduler#printLog,1001ms,N,xxxxxxxx
2022-04-19 12:55:59.005,209d2f1407894da5aa0f44de621515c7,LogScheduler#printLog,1020ms,Y,xxxxxxxx
2022-04-19 13:25:15.006,e09f75c6d0d849068ae713820c94f3f9,LogScheduler#printLog,15ms,Y,xxxxxxxx
2022-04-19 13:25:15.008,b4d13bfca8fe4b93a85e65a885231231,LogScheduler#printLog,99ms,Y,xxxxxxxx


有那么一段日志,需要统计出来以下信息:

  • 输出耗时超过 1000ms 并且结果是 Y 的整行
  • 12:00 ~ 13:00 之间成功的行数,成功率

日志格式:时间,traceId,类方法名,耗时,结果,内容

看到这里,如果小伙伴已经有思路了,那就没必要往下面看了,直接拉到最后,点赞、在看。

这里要使用的就是 awk 命令。


常用内置变量


awk 的主要功能就是对文本进行统计报告,具体介绍可以看菜鸟笔记,下面仅介绍几个常用的内置变量。

  • FS:行字段分隔符,默认是空格,可以使用-F指定分隔符
  • 0、01……:行字段分隔符分割后获取指定部分,$0 是获取整行记录
  • NF:当前行的字段数量
  • RS:行记录分隔符
  • NR:行号

大概常用的就这几个,下面看一下实际使用效果


效果展示

notes  % > awk '{print $0}' c.log

因为 $0 就代表整行记录,所以输出结果如下。

网络异常,图片无法展示
|

那 $1 的结果呢?

网络异常,图片无法展示
|

因为默认是空格作为分隔符,所以输出的结果就只有日期了。

指定分隔符为,之后,看一下输出结果:

网络异常,图片无法展示
|


题目答案

基本上熟悉了怎么使用剩下的就比较好办了。

  • 耗时超过 1000ms 且 Y 的行
notes  % > awk -F ',' '{split($4,a,"ms"); if(a[1] > 1000 && $5 == "Y") print $0}' c.log

网络异常,图片无法展示
|

  • 12:00 ~ 13:00 之间成功的行数,成功率
awk -F ',' 'BEGIN{count=0;sum=0}{if($1>="2022-04-19 12:00:00.000" && $1<"2022-04-19 13:00:00.000"){sum+=1;if($5 == "Y")count+=1}}END{print NR,count,sum,count/sum}' c.log

网络异常,图片无法展示
|

总记录 7 条, 12:00 ~ 13:00 之间成功的行数是 2,成功率 0.5。



总结

上面只是在工作中可能会遇到的一个场景,所以记录下来,如果小伙伴有更合适的方式来统计计算,欢迎留言。

目录
相关文章
|
4月前
|
消息中间件 人工智能 缓存
Go与Java Go和Java微观对比
本文对比了Go语言与Java在线程实现上的差异。Go通过Goroutines实现并发,使用`go`关键字启动;而Java则通过`Thread`类开启线程。两者在通信机制上也有所不同:Java依赖共享内存和同步机制,如`synchronized`、`Lock`及并发工具类,而Go采用CSP模型,通过Channel进行线程间通信。此外,文章还介绍了Go中使用Channel和互斥锁解决并发安全问题的示例。
241 0
|
7月前
|
Arthas 监控 Java
Arthas jvm(查看当前JVM的信息)
Arthas jvm(查看当前JVM的信息)
271 17
|
8月前
|
存储 弹性计算 资源调度
阿里云服务器收费模式对比:包年包月与按量付费的适用场景与选择参考
在我们购买阿里云服务器的时候,云服务器的收费模式主要有多种收费模式,其中包年包月和按量付费两种主流模式。对于准备在阿里云上部署应用的用户来说,选择合适的收费模式至关重要,因为它直接关系到成本控制和资源使用的灵活性。本文将对这两种收费模式做一个对比,以供参考和选择。
1117 14
|
存储 前端开发 Java
Kotlin教程笔记(18) - 数据类
Kotlin教程笔记(18) - 数据类
99 4
|
JavaScript
jQuery 效果 方法
jQuery 效果 方法
73 3
|
机器学习/深度学习 人工智能 算法
milvus源码编译
milvus源码编译
385 1
阿里云企航入选中国信通院《高质量数字化转型产品及服务全景图》
阿里云企航成为我国提供数字化转型产品和服务的优秀代表之一
1386 1
阿里云企航入选中国信通院《高质量数字化转型产品及服务全景图》
|
安全 Linux 网络安全
2023 年河北省职业院校信息安全管理与评估“(高职组) 技能大赛赛项规程
2023 年河北省职业院校信息安全管理与评估“(高职组) 技能大赛赛项规程
|
关系型数据库 Serverless 分布式数据库
PolarDB的Serverless能力与同类型产品的对比
【2月更文挑战第21天】PolarDB的Serverless能力与同类型产品的对比
141 2
|
iOS开发
iOS WKWebView 打开页面空白URL为空问题解决办法
iOS WKWebView 打开页面空白URL为空问题解决办法
966 0

热门文章

最新文章