【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南

前提介绍

本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。

在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Redis单线程命令处理机制,接着分析Redis单线程模型为什么性能如此之高。

单线程命令的处理机制

Redis客户端与服务端的模型主要是下图所示。



每次客户端调用都经历了发送命令、执行命令、返回结果三个过程。


本章内容

本章的文章内容主要是一下几点。


什么是慢查询

慢查询就是当Redis在处理一条指令的时候,当超过了系统配置的执行时间的阈值的时候,就会被系统当作慢查询统计和判定。

慢查询日志

慢查询日志就是系统在命令执行前后计算每条命令的执行时间,当超过预设阈值,就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来。

Redis慢查询日志

Redis慢查询日志功能是用于记录执行时间超过给定时长的命令请求,可以通过查看慢查询日志来监控和优化查询速度。

Redis慢查询的危害

说到了Redis慢查询的危害,就会先说一下Redis的运行机制。

Redis客户端执行一条命令的步骤

Redis是单线程来处理命令,所以一条命令从客户端到达服务端不会立即被执行,所有的命令都会进入一个队列,然后逐个被执行。



因此Redis服务端去执行操作的是可以主要以下几个步骤:



所有的指令都有先后顺序,但是真正意义到达服务端的执行顺序也是不确定的,因为中间有网络传输。但是可以肯定的是,不会有两条命令被同时执行,这样就不会产生并发问题,这就是Redis单线程的基本模型。

慢查询引发的问题
  1. 单线程机制:所有命令放在一个队列中
  2. Redis执行指令主要是在内存中执行、非IO阻塞、避免线程切换和竞态产生的消耗。

因为单线程的问题,一个命令不能执行太长时间,不然会阻塞其他命令的执行。所以慢查询会造成整体的Redis服务的性能的下降以及CPU的耗时和负载变高。

注意:慢查询只会记录执行命令的时间,没有慢查询并不代表客户端没有超时问题

阈值和慢查询的日志的设置

监控Redis指令的慢查询功能,需要明确两件事:

  1. 预设阈值怎么设置?
  2. 慢查询记录存放在哪里?

预设阈值怎么设置?

针对于慢查询的阈值,在Redis提供了slowlog-log-slower-thanslowlog-max-len配置来解决这两个问题。

阈值参数设置
慢查询执行时间阈值
  • slowlog-log-slower-than:指定执行时间超过多少微秒的命令会被记录到日志上,它的单位是微妙(1秒=1000毫秒=1000000微秒),默认值10000。

例如,该值设为100,执行了一条很慢的命令(例如 keys * ),如果它的执行时间超过了100微秒,则这个命令会被记录到慢查询日志中。

慢查询数据存储阈值

慢查询日志最多存储多少条,并没有说明存放在那里?主要通过slowlog-max-len进行控制和设置。从底层角度分析,Redis使用了一个列表来存储慢查询日志,slowlog-max-log就是列表的最大长度。

  • slowlog-max-len:指定服务器上最多保存慢查询日志的条数。
  • slowlog-log-slower-than=0,那么系统会记录所有的命令
  • slowlog-log-slower-than<0,那么对任何命令都不会记录。

例如,该值设为5,那么命令执行时间超过slowlog-log-slower-than设置的时间的命令会被记录到慢查询日志上,如果慢查询日志的数量等于5,那么再添加慢查询日志时,需要把最早添加的慢查询日志删除,即慢查询日志删除采用先进先出的方式。

慢查询的配置类型和方式

Redis有两种修改配置的方法:1. 修改配置文件;2. config set命令动态修改。

例如,使用config set命令将slowlog-log-slower-than设置为20000微秒,slowlog-max-len设置为10000:

arduino

复制代码

config set slowlog-log-slower-than 20000
config set slowlog-max-len 10000
config rewrite

如果要Redis将配置持久化到本地配置文件,要执行config rewrite命令,它会重写配置文件。

慢查询日志的操作命令

慢查询日志的的查询和维护主要是通过:slowlog get、slowlog len、slowlog reset这几条命令。

slowlog get [n]

慢查询日志有4个属性组成:日志id、发生时间戳、命令耗时、执行命令和参数。

sql

复制代码

127.0.0.1:6379> slowlog get
1) 1) (integer) 1
   2) (integer) 1513709400
   3) (integer) 11
   4) 1) "slowlog"
      2) "get"
2) 1) (integer) 0
   2) (integer) 1513709398
   3) (integer) 4
   4) 1) "config"
      2) "set"
      3) "slowlog-log-slower-than"
      4) "2"

slowlog len

获取慢查询日志列表当前的长度

ruby

复制代码

127.0.0.1:6379> slowlog len
(integer) 2

上面则说明当前的满查询列表中至于连个慢查询日志。

slowlog reset

实际是对慢查询日志列表做清理操作。

ruby

复制代码

127.0.0.1:6379> slowlog len
(integer) 6
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 1

为什么还有1个,因为阈值设的比较小,slowlog reset就属于慢查询。


相关文章
|
22天前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
|
23天前
|
缓存 Java 应用服务中间件
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
本文详解Spring Boot十大核心配置优化技巧,涵盖Tomcat连接池、数据库连接池、Jackson时区、日志管理、缓存策略、异步线程池等关键配置,结合代码示例与通俗解释,助你轻松掌握高并发场景下的性能调优方法,适用于实际项目落地。
232 4
|
6月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
6月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
502 117
|
3月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
437 0
|
5月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
546 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
4月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
6月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
7月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
282 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
6月前
|
监控 安全 BI
优化 Apache 日志记录的 5 个最佳实践
Apache 日志记录对于维护系统运行状况和网络安全至关重要,其核心包括访问日志与错误日志的管理。通过制定合理的日志策略,如选择合适的日志格式、利用条件日志减少冗余、优化日志级别、使用取证模块提升安全性及实施日志轮换,可有效提高日志可用性并降低系统负担。此外,借助 Eventlog Analyzer 等专业工具,能够实现日志的高效收集、可视化分析与威胁检测,从而精准定位安全隐患、评估服务器性能,并满足合规需求,为强化网络安全提供有力支持。
143 0
优化 Apache 日志记录的 5 个最佳实践

热门文章

最新文章