最佳实践:WAF常用SLS日志服务分析查询语句

简介: 注意:查找时请选择对应的时间区间limit 如果不写默认是100参考WAF字段(其它产品同理,可以到产品对应的官网帮助文档查找SLS服务字段解释):https://help.aliyun.com/document_detail/95492.htmlhttps://help.aliyun.com/do...

注意:

  1. 查找时请选择对应的时间区间

  2. limit 如果不写默认是100

  3. 参考WAF字段(其它产品同理,可以到产品对应的官网帮助文档查找SLS服务字段解释):https://help.aliyun.com/document_detail/95492.html

查询QPS峰值:

host:example.com|select COUNT(*) as c ,date_trunc('second', __time__) as s GROUP by s  order by c  desc limit 1

入带宽:

host:example.com| select date_format(from_unixtime(__time__ - __time__% 600), '%H:%i') as dt, round(sum(request_length)/1024.0/600, 2) as "流入流量(KB/s)", round(sum(if((block_action <> ''), request_length, 0))/1024.0/600, 2) as "攻击流量(KB/s)" group by __time__ - __time__% 600 order by dt limit 10000

出带宽:

host:example.com| select date_format(from_unixtime(__time__ - __time__% 600), '%H:%i') as dt, round(sum(body_bytes_sent)/1024.0/600, 2) as "流出流量(KB/s)", round(sum(if((block_action <> ''), body_bytes_sent, 0))/1024.0/600, 2) as "被攻击流量(KB/s)" group by __time__ - __time__% 600 order by dt limit 10000

查询访问IP TOP 10:

host:example.com|SELECT real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

查询访问URL TOP 10:

host:example.com|SELECT request_path,COUNT(*) as c group by request_path order by c desc limit 10

查询某个IP访问的URL(CC攻击时被攻击的接口比较集中):

host:example.comand real_client_ip:1.2.3.4 |SELECT request_path,COUNT(*) as c group by request_path order by c desc limit 10

查询某个接口访问TOP 10 IP(有攻击时恶意IP排行靠前):

host:example.comand request_path:/login.php |SELECT real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

最近10分钟每分钟的访问量,按时间降序:

host:example.com|select COUNT(*) as c ,date_trunc('minute', __time__) as minute GROUP by s  order by minute desc limit 10

状态码(通过异常状态码确认业务是否正常):

host:example.com|select status, upstream_status,COUNT(*) as c GROUP by status, upstream_status  order by c desc limit 10

IP命中的策略(查询拦截原因):

host:example.comand real_client_ip:1.2.3.4 |select antibot,antibot_rule,COUNT(*) as c GROUP by antibot,antibot_rule  order by c desc limit 10

指定策略命中情况(观察策略效果、命中率):

host:example.comand antibot_rule:1234 |select real_client_ip,COUNT(*) as c GROUP by real_client_ip  order by c desc limit 10

SDK验签情况:

host:example.com|select wxbb_invalid_wua,COUNT(*) as c GROUP by wxbb_invalid_wua  order by c desc limit 10

策略分布情况:哪些模块命中的

host:example.com |select block_action,COUNT(*) as c group by block_action order by c desc limit 100

查找IP被命中的模块

host:example.com and real_client_ip:1.1.1.1 | select block_action,COUNT(*) as c group by block_action order by c desc limit 10

查找哪些IP被“Web应用攻击防护”命中

host:example.com and block_action:waf |select real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

如果IP被“web应用攻击防护”模块命中,如何查找对应的规则ID 、以及处置动作

host:example.com and block_action:waf and real_client_ip:1.1.1.1 |select waf_rule_id,waf_action,COUNT(*) as c group by waf_rule_id,waf_action order by c desc limit 10

如何查找哪些IP被“CC”命中

host:example.com and block_action:tmd |select real_client_ip,COUNT(*) as c group by real_client_ip order by c desc limit 10

如果IP被“CC”模块命中,如何查找对应的规则ID 、以及处置动作

host:example.com and block_action:tmd and real_client_ip:1.1.1.1 |select cc_phase,cc_action,COUNT(*) as c group by cc_phase,cc_action order by c desc limit 10

查询近10分钟内每分钟的访问请求量(按时间降序排列),升序可以将desc替换为asc

host:example.com |SELECT COUNT(*) as c,date_trunc('minute', time) as minute GROUP by s order by minute desc limit 10

目录
相关文章
|
9月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
9月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
983 54
|
9月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
1315 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
11月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
1277 13
|
11月前
|
缓存 Java 编译器
|
11月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
230 1
|
11月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
1375 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4358 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
450 9