令仔学Redis(一)----浅析Redis存储数据时格式的设计

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:     之前接触的一个业务,数据量的话现在在数据库中存了有将近400W的数据,在搜索的时候得到的这些数据会放入达到异步队列中,然后单独开一个线程来进行双写,写缓存,然后写数据库。

    之前接触的一个业务,数据量的话现在在数据库中存了有将近400W的数据,在搜索的时候得到的这些数据会放入达到异步队列中,然后单独开一个线程来进行双写,写缓存,然后写数据库。Redis中的存储格式是Hash存储的,数据库的存储格式类似Hash,当时设计存储方式的时候是有些问题的,在Redis中存储的时候,数据库中有多少条数据,Redis中就会有多少个Key值。也就是说Redis中存储的一级Key有400W个,这样的存储格式会造成Redis的查询变慢,具体的原因下面解释。

具体原因

    
    Redis的查询,都是根据Key值来操作的,Hash可以Key值或者根据Key和Field来确定一条记录。具体的操作可以去百度。其实可以把Redis的存储看成一棵树。Key是最顶端的存在。
这里写图片描述
    数据量小的情况下,存储的话没有太大的要求。但是当数据量大的时候,就要细细的考虑下值的存储方式。正如我上边存储400W数据的方式,相当于把400W的数据都放到了一级Key上,就是没有任何的深度而言。
这里写图片描述
    所有的Key都存储在了同一个层级上,这样的话,当查询的时候,就要遍历400W个Key值来找到你想要的数据。自己都感觉自己的设计是一坨翔。。。
    

优化设计

    
    最好的办法,就是减少一级Key的数量。举个例子,花和树。假如全世界有花共100W种类,树也有100W,那怎么设计存储方式?
这里写图片描述
    一级Key的设计要有自己的特点,这样删除的时候也很方便去删除。正如上图的设计一样,我要是查询一种具体的花,一级Key就可以过滤掉100W的数据,然后有可能知道具体的花的种类,再子节点查找的时候,每到一个子节点都可以过滤掉10倍的数据。这样才是最合适的。存的数据多,但是查询的时候也能够快速的定位到你想要的数据,何乐而不为呢?

    
    

转载请注明出处:http://blog.csdn.net/zlts000/article/details/56278531

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
16天前
|
缓存 NoSQL 关系型数据库
13- Redis和Mysql如何保证数据⼀致?
该内容讨论了保证Redis和MySQL数据一致性的几种策略。首先提到的两种方法存在不一致风险:先更新MySQL再更新Redis,或先删Redis再更新MySQL。第三种方案是通过MQ异步同步以达到最终一致性,适用于一致性要求较高的场景。项目中根据不同业务需求选择不同方案,如对一致性要求不高的情况不做处理,时效性数据设置过期时间,高一致性需求则使用MQ确保同步,最严格的情况可能涉及分布式事务(如Seata的TCC模式)。
43 6
|
16天前
|
NoSQL Redis
05- Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略:挥发性 LRU、LFU 和 TTL(针对有过期时间的数据),挥发性随机淘汰,以及全库的 LRU、LFU 随机淘汰,用于在内存不足时选择删除。另外,还有不淘汰策略(no-eviction),允许新写入操作报错而非删除数据。
204 1
|
18天前
|
存储 缓存 NoSQL
深入解析Redis:一种快速、高效的键值存储系统
**Redis** 是一款高性能的键值存储系统,以其内存数据、高效数据结构、持久化机制和丰富的功能在现代应用中占有一席之地。支持字符串、哈希、列表、集合和有序集合等多种数据结构,适用于缓存、计数、分布式锁和消息队列等场景。安装Redis涉及下载、编译和配置`redis.conf`。基本操作包括键值对的设置与获取,以及哈希、列表、集合和有序集合的操作。高级特性涵盖发布/订阅、事务处理和Lua脚本。优化策略包括选择合适数据结构、配置缓存和使用Pipeline。注意安全、监控和备份策略,以确保系统稳定和数据安全。
232 1
|
23天前
|
NoSQL Redis
Redis事务:保证数据操作的一致性和可靠性
Redis事务:保证数据操作的一致性和可靠性
|
28天前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)(二)
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现(字典)
45 0
|
1天前
|
存储 缓存 NoSQL
Redis入门到通关之Redis缓存数据实战
Redis入门到通关之Redis缓存数据实战
|
18天前
|
存储 NoSQL 算法
redis数据持久化
redis数据持久化
|
23天前
|
NoSQL 安全 网络安全
保护Redis:建立铁壁般的安全防线,守护你的数据财富
保护Redis:建立铁壁般的安全防线,守护你的数据财富
|
23天前
|
消息中间件 存储 NoSQL
Redis Stream: 实时消息处理的利器,让你的数据流畅又可靠!
Redis Stream: 实时消息处理的利器,让你的数据流畅又可靠!
|
23天前
|
NoSQL 安全 网络安全
Redis连接:加速数据访问与保障安全传输的关键
Redis连接:加速数据访问与保障安全传输的关键

热门文章

最新文章