开发者社区> 晴天哥> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

redis占用内存诊断过程

简介: 开篇  写这篇文章是因为近期在准备双11大促资源的盘点,盘点过程中发现部门占用的redis空间总共720G已经接近占满了,正常情况下第一反应是联系采购新的服务器扩容内存,但是因为好奇我们的redis集群内部数据占用情况而打算先分析一下,这才有这篇文章,也给所有想对redis内存存储一窥究竟的同学提供一个思路。
+关注继续查看

开篇

 写这篇文章是因为近期在准备双11大促资源的盘点,盘点过程中发现部门占用的redis空间总共720G已经接近占满了,正常情况下第一反应是联系采购新的服务器扩容内存,但是因为好奇我们的redis集群内部数据占用情况而打算先分析一下,这才有这篇文章,也给所有想对redis内存存储一窥究竟的同学提供一个思路。


推荐两个工具

 在github上有两个分析redis rdb文件的开源工具redis-rdb-toolsrdr。redis-rdb-tools用于分析所有key及占用空间;rdr能够分析出所有key但是没法计算key占用空间,不过额外提供图形化界面。

redis-rdb-tools介绍

安装介绍

  • 提供多种途径进行安装,看心情选择其中一个即可
Rdbtools is a parser for Redis' dump.rdb files. 
The parser generates events similar to an xml sax parser, and is very efficient memory wise.

In addition, rdbtools provides utilities to :
  1.  Generate a Memory Report of your data across all databases and keys
  2.  Convert dump files to JSON
  3.  Compare two dump files using standard diff tools

Pre-Requisites :
  1.  python-lzf is optional but highly recommended to speed up parsing.
  2.  redis-py is optional and only needed to run test cases.

To install from PyPI (recommended) :
   1.pip install rdbtools python-lzf

To install from source :
   1.git clone https://github.com/sripathikrishnan/redis-rdb-tools
   2.cd redis-rdb-tools
   3.sudo python setup.py install



功能分析

  • 解析rdb文件所有的key/value的内容
  • 解析rdb文件所有的key以及对应的value的大小
生成所有的key/value
> rdb --command json /var/redis/6379/dump.rdb

[{
  "user003":{"fname":"Ron","sname":"Bumquist"},
  "lizards":["Bush anole","Jackson's chameleon","Komodo dragon","Ground agama","Bearded dragon"],
  "user001":{"fname":"Raoul","sname":"Duke"},
  "user002":{"fname":"Gonzo","sname":"Dr"},
  "user_list":["user003","user002","user001"]},{
  "baloon":{"helium":"birthdays","medical":"angioplasty","weather":"meteorology"},
  "armadillo":["chacoan naked-tailed","giant","Andean hairy","nine-banded","pink fairy"],
  "aroma":{"pungent":"vinegar","putrid":"rotten eggs","floral":"roses"}
}]



生成所有key/value以及对应的存储空间
> rdb -c memory /var/redis/6379/dump.rdb --bytes 128 -f memory.csv
> cat memory.csv

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,list,lizards,241,quicklist,5,19
0,list,user_list,190,quicklist,3,7
2,hash,baloon,138,ziplist,3,11
2,list,armadillo,231,quicklist,5,20
2,hash,aroma,129,ziplist,3,11


rdr介绍

安装介绍

下载:http://ohjx11q65.bkt.clouddn.com/rdr
赋予执行权限:$ chmod a+x ./rdr



功能分析

  • 解析rdb文件中所有的key的值
$ ./rdr keys example.rdb
portfolio:stock_follower_count:ZH314136
portfolio:stock_follower_count:ZH654106
portfolio:stock_follower:ZH617824
portfolio:stock_follower_count:ZH001019
portfolio:stock_follower_count:ZH346349
portfolio:stock_follower_count:ZH951803
portfolio:stock_follower:ZH924804
portfolio:stock_follower_count:INS104806


问题定位过程

  • 通过redis-rdb-tools工具导出所有的key以及对应的占用情况
  • 通过linux的sort命令按照key的占用空间进行倒序进行排列
  • 通过rdr工具导出所有的key占用情况并和redis-rdb-tools工具导出所有的key进行对比
  • 开始怀疑大hash的并通过scan温和的导出所有hash的key,通过hlen以及hscan观察hash中filed对应的value大小,确定hash结构的变量存在问题
  • 因为业务属性我们的key最多保存7天,针对所有的hash类的key需要重点关注TTL时间
  • 最后通过python脚本连接redis集群,结合scan、hscan、del等命令删除所有垃圾数据
  • 中间走过的一个弯路是怀疑redis的key/value额外占用了太多空间,后来网上资料发现一个key最多也就额外占用50Bypte左右,不可能造成大量内存占用,所以可以排除这个方向。



工具使用的截图

img_277b9e75a11322c2965b9aac35bd43f5.png

img_676fdc64c6e47138e544aa4c13fbb5d9.png
img_9058f7982fa70eece344312c7564ed19.png


温和清理redis的hash数据

定位hash数据结构的key

  • 切记一定使用scan!切记一定使用scan!切记一定使用scan!
  • 通过scan加前缀匹配来扫面所有相关的hash的key,然后筛选其中待删除的key
from rediscluster import StrictRedisCluster
from redis import Redis
import time
import threading

conn_list = [
"1.1.1.1:2222",
"2.2.2.2:222",
]

def scan_key(conn):
    data = conn.split(":")
    print data[0],data[1]
    redis_client = Redis(data[0], data[1])

    cursor = 0
    count = 0
    while True:
        // 根据前缀如fuck_redis进行扫描
        scan_result = redis_client.scan(cursor, "fuck_redis*", 400)
        cursor = scan_result[0]
        key_list = scan_result[1]

        if len(key_list) > 0:
            for key in key_list:
                # redis_cluster.delete(key)
                print key, redis_client.ttl(key)

        if cursor == 0:
            break


for conn in conn_list:
    // 启动多线程进行key的扫描
    new_thread = threading.Thread(target=scan_key, args=(conn,))
    new_thread.start()



删除hash数据结构的key

  • 切记用hscan先删除hash的field,然后再删除hash的key!切记用hscan先删除hash的field,然后再删除hash的key!切记用hscan先删除hash的field,然后再删除hash的key!
  • 清理hash的field后再删除hash的key,防止redis阻塞造成服务抖动!
from rediscluster import StrictRedisCluster

nodes = [
    {"host": "1.1.1.1", "port": "6451"}
]

// redis3.0内部通过集群方式进行删除
redis_cluster = StrictRedisCluster(startup_nodes=nodes, decode_responses=True)

// 待删除的hash key
key_list = [xxx__ooo_0"]

// 遍历所有待删除的key进行温和删除
for hash_key in key_list:
    cursor = 0
    count = 0
    while True:
        // 温和的采用hscan进行遍历删除
        scan_result = redis_cluster.hscan(hash_key, cursor, count=200)
        cursor = scan_result[0]
        result = scan_result[1]
        for key in result:
            redis_cluster.hdel(hash_key, key)
            if count%200 == 0:
                print hash_key, key

        if cursor == 0:
            redis_cluster.delete(hash_key)
            break


结束语

深入到细节才能从本质上解决问题,不加分析就直接扩容其实在某种程度上掩盖了所有问题,不可取!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【redis】redis的过期策略以及内存淘汰机制
今天我们讨论下redis的过期策略以及内存淘汰机制,如果你想要考察一个人对redis的了解,那吗这个问题是必选的,从他对这个问题的回答中,就可以了解到他的redis深浅。
0 0
【Redis过期策略/内存淘汰机制/对过期Key的处理】
【Redis过期策略/内存淘汰机制/对过期Key的处理】
0 0
Redis源码剖析之内存淘汰策略(Evict)
Redis源码剖析之内存淘汰策略(Evict)
0 0
93. Redis 内存满了怎么办?(二)
93. Redis 内存满了怎么办?(二)
0 0
93. Redis 内存满了怎么办?(一)
93. Redis 内存满了怎么办?(一)
0 0
94. 熟悉Redis吗,项目中你是如何对Redis内存进行优化的(二)
94. 熟悉Redis吗,项目中你是如何对Redis内存进行优化的(二)
0 0
94. 熟悉Redis吗,项目中你是如何对Redis内存进行优化的(一)
94. 熟悉Redis吗,项目中你是如何对Redis内存进行优化的(一)
0 0
OAuth2在内存、Redis方式下的多客户端配置
`Spring`所提供的`OAuth2`集成策略,支持多种方式存储`认证信息`以及`客户端信息`,由于在之前的文章中讲解使用时把知识点进行了拆分,有很多同学不太会组合使用,很多单独问我`ApiBoot`所提供的`OAuth2`的整合后,多个客户端该怎么配置?
0 0
Redis连环炮:内存淘汰?事务?分布式锁?分步式限流?异步队列?延时队列?高可用?如何部署?哈希槽?数据库和缓存的数据一致性?
Redis连环炮:内存淘汰?事务?分布式锁?分步式限流?异步队列?延时队列?高可用?如何部署?哈希槽?数据库和缓存的数据一致性?
0 0
+关注
晴天哥
专注java技术,热爱长跑和阅读开源代码 邮箱 lebron374@163.com
文章
问答
文章排行榜
最热
最新
相关电子书
更多
阿里云Redis容灾体系介绍--夏周
立即下载
阿里云Redis服务助力游戏行业发展--王义成
立即下载
国内开发者与Redis开源社区的发展
立即下载