一文掌握Redis集群实用运维工具redis-tool-阿里云开发者社区

关于redis-tool工具

Redis作为nosql内存数据库，因为丰富的数据类型、可持久化，以及出色的性能在许多公司中都得到了广泛的应用。随着业务量的增长，单机Redis无论数据容量还是访问性能都逐渐满足不了实际需求，Redis cluster集群因为良好的可扩展性，以及故障自动切换能力，被越来越多的公司作为分布式缓存产品的解决方案，但随之而来的运维复杂度也越来越高。

redis-tool 基于原生的redis-cli客户端工具来进行Redis集群的监控、配置、问题分析等运维管理，能够极大降低Redis cluster集群的运维成本。同时作为脚本化工具，下载即可用，即使对于Redis初学者，也能够快速掌握集群的运行状况，完成集群配置管理、性能问题排查，具备Redis集群的基本运维能力。

工具可以做什么？

redis-tool工具主要面向日常运维管理中的常见工作，提升运维效率，简化操作复杂度：

集群监控：能够获取集群节点的键值数、内存使用量、每秒请求量、CPU使用率、请求响应时延等格式化信息，并给出异常告警提示
配置管理：可以按节点属性来统一查询或修改指定的运行参数，并且支持对集群各节点的运行参数进行差异对比
问题分析：具备慢命令日志查询、热点key分析、TOP命令跟踪、KEY前缀统计等问题分析能力

如何使用工具？

redis-tool工具使用shell脚本实现，下载到具有redis-cli工具的主机上即可使用（通常可部署到redis服务主机上）。

# 1. 从github下载redis-tool工具
# 方法一：使用git下载
$ git clone https://github.com/iwhalecloud-platform/redis-tool.git
# 进入下载目录
$ cd redis-tool
# 方法二：使用wget下载
$ wget https://github.com/iwhalecloud-platform/redis-tool/archive/refs/heads/main.zip
# 解压工具包&修改目录名
$ unzip main.zip && mv redis-tool-main redis-tool
# 进入下载目录
$ cd redis-tool

# 2. 设置REDIS_HOME环境变量为redis-cli工具所在目录（如果PATH环境变量中包含该目录，则该步可省略）
$ echo "export REDIS_HOME=/path/to/redis-cli/" >> ~/.bashrc
$ source ~/.bashrc

# 3. 使用帮助：不带参数执行工具可以看到使用帮助
$ ./redis-tool
Usage: redis-tool [OPTIONS] [command]
OPTIONS:
   -h <IP>:       Redis集群中某个节点IP (默认值: 127.0.0.1).
   -p <port>:     Redis集群中某个节点端口 (默认值: 6379).
   -i <nodefile>: Redis集群节点信息文件(适配codis等基于PROXY构建的集群模式).
                  文件格式(每行一个分片)：<slots1> <MasterAddr> [SlaveAddr] [SlaveAddr]
   -a <password>: Redis访问密码，也可使用'REDISCLI_AUTH'环境变量来传入.
   -c <count>:    1. TOP10命令统计滚动展示次数(默认无限次, 'moni'使用).
                  2. 从Redis节点中获取的慢命令记录数(默认值: 100, 'slowlog'使用).
                  3. 从Redis节点中随机获取的KEY名称数量(默认值: 100000, 'keys'使用).
   -d <delay>:    TOP10命令统计滚动展示等待间隔(单位: 秒, 默认值: 3, 'moni'使用).
   -t <time>:     实时命令监控跟踪运行时长(单位: 秒, 默认值: 10, 'trace'使用).
   -s:            只处理指定Redis节点('moni' & 'slowlog'使用).
   -l:            TOP10命令统计滚动展示包含命令执行平均处理耗时('moni'使用).
   -f <file>:     1. 基于监控的命令详情文件进行命令监控跟踪处理('trace'使用).
                  2. 基于指定的KEY名称列表文件进行前缀统计('keys'使用).
   -L <level>:    按KEY前缀统计层级(默认值: 3, 'keys'使用).
   -H:            基于监控的命令详情文件进行热点KEY访问分析('trace'使用).
   -C:            基于监控的命令详情文件按客户端IP进行命令统计('trace'使用).
   -r:            按裸输据形式输出集群节点监控指标,便于存储或上报至第三方监控系统 ('nodes'使用).
   -k <key>:      要查询或修改的Redis运行参数名('config'使用).
   -v <value>:    要修改的Redis运行参数值('config'使用).
   -M:            只访问集群中主节点的运行参数 ('config'使用).
   -S:            只访问集群中从节点的运行参数 ('config'使用).
   -w:            Redis节点运行参数修改后需要重写配置文件('config'使用).
command:
   nodes:   集群节点状态监控 (默认执行)
   keys:    按KEY前缀层级进行统计分析
   moni:    TOP10命令周期性滚动统计
   trace:   实时命令监控跟踪 & 热点KEY访问分析
   slowlog: 集群慢命令日志查询
   config:  查询/修改集群运行参数 & 集群运行参数差异检查

什么时候使用？

Redis集群监控

场景介绍：日常运维中最常做的就是检查集群的运行状态、负载情况，作为排查业务访问慢、连接失败等问题的基本手段。虽然Redis本身提供的监控命令包含丰富的信息，但对于普通人员来说，掌握这些内容的门槛太高，而要整合集群所有节点的信息就更为繁琐。

使用nodes子命令可以汇总集群各节点的主要指标信息，并按照主从关系进行级联展示：

基本信息：
- 节点状态：可用于判断节点基本状态
  - OK：节点正常运行中
  - FAIL：节点连接失败
  - LOAD：节点正在进行数据加载
  - NOAUTH：节点密码认证失败（需指定正确的访问密码）
  - 节点角色：如果节点角色变更，可能是发生过故障切换，需要通过服务日志进一步核查
    - master：主节点
    - slave：从节点
- 节点版本：对于Redis集群，版本号应该 >=3.0.0
- 运行时长：节点已经运行的时长（单位：s），可用于判断节点是否发生重启
存储信息：
- 键值数：节点中存在的键值数
- 使用内存：节点使用的内存量，建议不要超过10G，如果过高应该扩大集群规模
负载信息：
- 客户端数：节点当前接入的客户端连接数
- %CPU：节点当前的CPU使用率百分比，通常不应该超过70%
- OPS：节点当前每秒处理的命令请求量
- RTT：节点当前请求响应时延（单位：us），通常不应该超过1000
汇总信息：
按主节点和集群维度，汇总节点数、键值数、内存使用量、客户端连接数、OPS、%CPU等指标信息

主节点分布均匀，能够更好的发挥Redis性能，而且也有利于故障切换时的主从选举，所以对于主节点分布不均匀时，会给出告警信息

工具支持-r参数，用于将集群节点指标以裸输据输出，方便进行指标文件存储，或上报至第三方监控平台

问题排查分析

慢命令分析

场景介绍：当客户端访问Redis存在时延过大时（上百毫秒），通常我们需要分析是否存在慢命令日志；Redis本身提供的日志信息未进行格式化，不利于查看；对于Redis集群来说，因为存在很多节点，进一步增大了慢命令日志分析难度。

使用slowlog子命令可以汇总集群各节点的慢命令日志，按日志生成时间进行排序展示格式化后的命令详情：

日志按时间顺序展示，当前页面展示最新的日志信息

对于存在慢命令日志的日期会进行日志数量汇总

工具支持-c <count>参数，来指定查询节点最新的慢命令记录数（默认值：100）

慢命令日志主要原因：

大key访问：key值包含的元素数太大时对Redis服务性能影响较大，建议优化业务逻辑，进行大key拆分或使用替代命令（例如使用HSCAN代替HGETALL）
复杂命令：KEYS、FLUSHDB、HGETALL等，生产环境通常禁止使用
主机内存不足：当主机因为内存不足，而使用了磁盘交换区时，对于Redis服务性能影响很大，需要进行内存使用限制或主机资源扩容
主机CPU繁忙：主机CPU配置较低，或者部署了其他高CPU占用软件，生产环境建议Redis主机独占部署
CPU使用限制：通过cgroup限制了Redis进程的CPU使用率，导致访问性能下降，生产环境不建议进行限制