awk高级企业级使用案例

简介: 一、背景:       以某物联网企业,传感器设备实时数据消费服务(Kafka-consumer)为例,调试筛选处理耗时的主题。1. 原始日志格式(logback输出的):2018-07-11 11:49:22.

一、背景:

       以某物联网企业,传感器设备实时数据消费服务(Kafka-consumer)为例,调试筛选处理耗时的主题。

1. 原始日志格式(logback输出的):

2018-07-11 11:49:22.413  INFO 29244 --- [TW_safeclound_elec_line_v-1531280885818] c.s.s.s.l.TimeoutInvokeMethodAspect      : 消费处理耗时: 10148 ms, method=ConsumerElecLineVDataListener.lineVData(..), args={"addr":"11111118","bid":"QQBE","cid":"BLWY","dataType":"ELE_R_LV","id":"11111118,85,117,ELE_R_LV,1531280962413","lineAB":396.77,"lineBC":395.75,"lineCA":396.42,"meterType":"117","order":"85","timestamp":1531280951758}

2. 使用tail+awk命令进行耗时执行方法筛选:

[root@web-prod ~]# tail -f /mnt/disk1/sink/logs/sink.log|grep 耗时| awk -F ' ' '$10>200 && $10<500{print $1,$2,$6,$10,$11}'

2018-07-14 22:59:40.163 [TW_safeclound_largestDemand-1531512341755] 441 ms,

2018-07-14 22:59:40.516 [TW_safeclound_rate_v-1531512332686] 363 ms,

2018-07-14 22:59:40.665 [TW_safeclound_rate_i-1531512317893] 375 ms,

2018-07-14 22:59:40.866 [TW_safeclound_water-1531512518874] 332 ms,

...

3. 注释:

a. 其中 awk的 -F 参数表示:日志字符串分隔符,默认为 ' ' 空格;

b. $10>100 表示我要筛选耗时大于 100 毫秒的日志;

c. {print $1,$2,$6,$10,$11} 表示打印被awk分隔后的 第1段(日期)、第2段(时间)、第6段(主题)、第10段(耗时)、第11段字符串(耗时单位);

d. 其中 $10>200 && $10<500 表示我要筛选耗时在200~500之前的消费主题;

目录
相关文章
|
6月前
|
人工智能 运维 应用服务中间件
Awk使用案例总结(运维必会)
Awk使用案例总结(运维必会)
|
数据采集 机器学习/深度学习 监控
企业端功能概述|学习笔记
快速学习企业端功能概述
企业端功能概述|学习笔记
|
运维 Shell Linux
文本三剑客sed高级用法和企业级实战| 学习笔记
快速学习文本三剑客sed高级用法和企业级实战
134 0
|
网络协议 Linux Shell
Linux网络配置企业级用法实战
一、route命令的局限性 二、动态路由的配置 三、专业路由工具
Linux网络配置企业级用法实战
|
运维 监控 应用服务中间件
实现 playbook 高级应用和企业级实战| 学习笔记
快速学习实现 playbook 高级应用和企业级实战
|
NoSQL Cloud Native 架构师
|
开发框架 NoSQL Cloud Native
.NET 云原生架构师训练营(模块二 基础巩固 MongoDB 写入和查询)--学习笔记
- 写入 - 查询 - 查找操作符 - 逻辑操作符 - 其他 - 嵌套对象 - 数组 - 游标方法
342 0
.NET 云原生架构师训练营(模块二 基础巩固 MongoDB 写入和查询)--学习笔记
|
SQL Cloud Native 架构师
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 查询)--学习笔记
- 关联数据加载 - 客户端与服务端运算 - 跟踪与不跟踪 - 复杂查询运算 - 原生 SQL 查询 - 全局查询筛选器
243 0
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 查询)--学习笔记
|
存储 开发框架 Cloud Native
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 基础与配置)--学习笔记
- 连接字符串 - 异步编程 - 日志 - DbContext池 - 类和配置表 - 属性和列配置 - 并发token - 索引
309 0
.NET 云原生架构师训练营(模块二 基础巩固 EF Core 基础与配置)--学习笔记
下一篇
无影云桌面