redis占用内存诊断过程

开篇

 写这篇文章是因为近期在准备双11大促资源的盘点，盘点过程中发现部门占用的redis空间总共720G已经接近占满了，正常情况下第一反应是联系采购新的服务器扩容内存，但是因为好奇我们的redis集群内部数据占用情况而打算先分析一下，这才有这篇文章，也给所有想对redis内存存储一窥究竟的同学提供一个思路。

推荐两个工具

 在github上有两个分析redis rdb文件的开源工具redis-rdb-tools，rdr。redis-rdb-tools用于分析所有key及占用空间；rdr能够分析出所有key但是没法计算key占用空间，不过额外提供图形化界面。

redis-rdb-tools介绍

安装介绍

• 提供多种途径进行安装，看心情选择其中一个即可

Rdbtools is a parser for Redis' dump.rdb files. 
The parser generates events similar to an xml sax parser, and is very efficient memory wise.

In addition, rdbtools provides utilities to :
  1.  Generate a Memory Report of your data across all databases and keys
  2.  Convert dump files to JSON
  3.  Compare two dump files using standard diff tools

Pre-Requisites :
  1.  python-lzf is optional but highly recommended to speed up parsing.
  2.  redis-py is optional and only needed to run test cases.

To install from PyPI (recommended) :
   1.pip install rdbtools python-lzf

To install from source :
   1.git clone https://github.com/sripathikrishnan/redis-rdb-tools
   2.cd redis-rdb-tools
   3.sudo python setup.py install

功能分析

• 解析rdb文件所有的key/value的内容
• 解析rdb文件所有的key以及对应的value的大小

生成所有的key/value
> rdb --command json /var/redis/6379/dump.rdb

[{
  "user003":{"fname":"Ron","sname":"Bumquist"},
  "lizards":["Bush anole","Jackson's chameleon","Komodo dragon","Ground agama","Bearded dragon"],
  "user001":{"fname":"Raoul","sname":"Duke"},
  "user002":{"fname":"Gonzo","sname":"Dr"},
  "user_list":["user003","user002","user001"]},{
  "baloon":{"helium":"birthdays","medical":"angioplasty","weather":"meteorology"},
  "armadillo":["chacoan naked-tailed","giant","Andean hairy","nine-banded","pink fairy"],
  "aroma":{"pungent":"vinegar","putrid":"rotten eggs","floral":"roses"}
}]



生成所有key/value以及对应的存储空间
> rdb -c memory /var/redis/6379/dump.rdb --bytes 128 -f memory.csv
> cat memory.csv

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,list,lizards,241,quicklist,5,19
0,list,user_list,190,quicklist,3,7
2,hash,baloon,138,ziplist,3,11
2,list,armadillo,231,quicklist,5,20
2,hash,aroma,129,ziplist,3,11

rdr介绍

安装介绍

下载：http://ohjx11q65.bkt.clouddn.com/rdr
赋予执行权限：$ chmod a+x ./rdr

功能分析

• 解析rdb文件中所有的key的值

$ ./rdr keys example.rdb
portfolio:stock_follower_count:ZH314136
portfolio:stock_follower_count:ZH654106
portfolio:stock_follower:ZH617824
portfolio:stock_follower_count:ZH001019
portfolio:stock_follower_count:ZH346349
portfolio:stock_follower_count:ZH951803
portfolio:stock_follower:ZH924804
portfolio:stock_follower_count:INS104806

• 解析rdb并显示key对应value的近似占用
  $ ./rdr show -p 8080 *.rdb
  
  

  show example

问题定位过程

• 通过redis-rdb-tools工具导出所有的key以及对应的占用情况
• 通过linux的sort命令按照key的占用空间进行倒序进行排列
• 通过rdr工具导出所有的key占用情况并和redis-rdb-tools工具导出所有的key进行对比
• 开始怀疑大hash的并通过scan温和的导出所有hash的key，通过hlen以及hscan观察hash中filed对应的value大小，确定hash结构的变量存在问题
• 因为业务属性我们的key最多保存7天，针对所有的hash类的key需要重点关注TTL时间
• 最后通过python脚本连接redis集群，结合scan、hscan、del等命令删除所有垃圾数据
• 中间走过的一个弯路是怀疑redis的key/value额外占用了太多空间，后来网上资料发现一个key最多也就额外占用50Bypte左右，不可能造成大量内存占用，所以可以排除这个方向。

工具使用的截图

温和清理redis的hash数据

定位hash数据结构的key

• 切记一定使用scan！切记一定使用scan！切记一定使用scan！
• 通过scan加前缀匹配来扫面所有相关的hash的key，然后筛选其中待删除的key

from rediscluster import StrictRedisCluster
from redis import Redis
import time
import threading

conn_list = [
"1.1.1.1:2222",
"2.2.2.2:222",
]

def scan_key(conn):
    data = conn.split(":")
    print data[0],data[1]
    redis_client = Redis(data[0], data[1])

    cursor = 0
    count = 0
    while True:
        // 根据前缀如fuck_redis进行扫描
        scan_result = redis_client.scan(cursor, "fuck_redis*", 400)
        cursor = scan_result[0]
        key_list = scan_result[1]

        if len(key_list) > 0:
            for key in key_list:
                # redis_cluster.delete(key)
                print key, redis_client.ttl(key)

        if cursor == 0:
            break


for conn in conn_list:
    // 启动多线程进行key的扫描
    new_thread = threading.Thread(target=scan_key, args=(conn,))
    new_thread.start()

删除hash数据结构的key

• 切记用hscan先删除hash的field，然后再删除hash的key！切记用hscan先删除hash的field，然后再删除hash的key！切记用hscan先删除hash的field，然后再删除hash的key！
• 清理hash的field后再删除hash的key，防止redis阻塞造成服务抖动！

from rediscluster import StrictRedisCluster

nodes = [
    {"host": "1.1.1.1", "port": "6451"}
]

// redis3.0内部通过集群方式进行删除
redis_cluster = StrictRedisCluster(startup_nodes=nodes, decode_responses=True)

// 待删除的hash key
key_list = [xxx__ooo_0"]

// 遍历所有待删除的key进行温和删除
for hash_key in key_list:
    cursor = 0
    count = 0
    while True:
        // 温和的采用hscan进行遍历删除
        scan_result = redis_cluster.hscan(hash_key, cursor, count=200)
        cursor = scan_result[0]
        result = scan_result[1]
        for key in result:
            redis_cluster.hdel(hash_key, key)
            if count%200 == 0:
                print hash_key, key

        if cursor == 0:
            redis_cluster.delete(hash_key)
            break

结束语

深入到细节才能从本质上解决问题，不加分析就直接扩容其实在某种程度上掩盖了所有问题，不可取！