redis编码及数据(二)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: redis编码及数据(二)

2 redis编码及数据结构


上面都是一些redis的基本入门级操作,接下来对于底层的分析是重点


2.1 redis支持的数据类型


2.png


2.2 Redis对象源码(3.0版)


3.png


redisObject类的属性有三个:


type:类型

encoding:对象的编码

int,embstr,raw,ht(哈希表),linkedlist,ziplist(连续空间),intset,skiplist(跳表)

ptr:指向底层实现数据结构的指针


type可以看做是第一层、encoding可以看做是第二层、ptr可以看做是第三层,他们之间有一些对应关系。


2.3 Redis对象类型——type(第一层)& encoding(第二层)


4.png


redis对象的key都是String的,value就是其支持的5种数据类型。我们可以用TYPE命令查看value的类型:


5.png


5个数据类型与源码中的8个encoding(编码)类型的对照关系(第一层和第二层对照):


6.png


之所以有这么多的对照关系是因为redis支持了针对不同应用场景来采用不同的数据结构,具有更大的灵活性。


我们可以用OBJECT encoding命令来查看相应的encoding类型:


7.png


2.4 字符串内部实现——int & raw & embstr


8.png


int编码很简单,ptr指向一个int型数据


9.png


raw的内部实现是ptr指向一个sds(可以简单的理解为redis中实现的字符串)。


free属性表示预留的空闲空间,len表示实际字符串的长度,buf是指向一个字符数组的指针。


预留空间:当申请的空间较小时,C语言在申请len这么多的空间时会申请一份同样大小的预留空间。


惰性空间释放:删除数据时,free的值会增加,而不是真正的把数据给释放掉


10.png


embstr结构和raw的类似,只不过ptr不是指向sds的指针了,而是一个连续空间,ptr后面紧跟着sds对象,所以查询会非常快,但这种方式并不适合存储大量数据。


选择编码格式的规则:


1.如果设置的数字是一个long类型的,那么其encoding就是int

2.如果不是long类型表示的整形数字,那么用raw或者embstr

(1)长度小于等于39则是embstr

(2)长度大于40则是raw

3.embstr是一个只读的,如果要修改这样类型的数据,修改之后的结果会变为raw


11.png


12.png


2.5 列表的内部实现——ziplist & linkedlist编码


13.png


zlbytes:记录整个列表占用的内存字节数


zltail:记录列表尾节点距离压缩列表的起始地址有多少字节


zllen:包含的节点数量


zlend:标记压缩列表的末端


14.png


linkedlist是一个双向链表,但头节点的前驱指针指向的是null,尾节点的后继指针指向的是null,不是一个环形链表


2.6 集合类型内部实现——intset & hashtable编码


15.png


ptr指向intset,inset中针对不同的应用有不同的编码,为了防止空间的浪费。


length表示contents对应的数组的长度


16.png


ptr指向一个dict(字典),并且这个dict的value部分都是null


当我们向set中添加整数类型的数据时,set用intset来实现,否则使用hashtable来实现的。此外,如果数据量较大,一般是超过512时也会使用hashtable


2.7 有序集合类型内部实现——ziplist & skiplist 编码


17.png


ziplist中的ptr指向一段连续的内存空间,所有的键值对紧密相连并从队尾推入,当我们zadd 122 bob 134 muse 156 john之后内存中的示意图就如上图所示。同样地,如果存储的数据元素个数超过一定的阈值的话,就会转换成skiplist


18.png


skiplist中有两种数据结构,跳表和哈希表(dictht),因为不同的业务逻辑无法用同一种数据结构来达到完美的效果。


跳表中的level对应的是maxlevel,即length最长的节点的层(L)数,上图一共有三个节点bob,muse和john对应length1,2,3。


跳表的查找过程:


如果要查找muse,先从L5往后查发现是john,又从L4开始查发现是bob和john,又从L2查到结果,因此level越大,查询的跨度越大


2.8 哈希类型内部实现——ziplist & hashtable 编码


19.png


和set类似,ziplist上面已经介绍过了就不再赘述,存储的键值对超过一定阈值时就转变为hashtable


20.png


相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
99 1
|
1月前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
62 16
|
2月前
|
监控 NoSQL Java
场景题:百万数据插入Redis有哪些实现方案?
场景题:百万数据插入Redis有哪些实现方案?
44 1
场景题:百万数据插入Redis有哪些实现方案?
|
2月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
52 2
数据的存储--Redis缓存存储(二)
|
1月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
59 14
|
27天前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
38 5
|
1月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用哈希槽分区算法,共有16384个哈希槽,每个槽分配到不同的Redis节点上。数据操作时,通过CRC16算法对key计算并取模,确定其所属的槽和对应的节点,从而实现高效的数据存取。
49 13
|
1月前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
Redis 采用两种过期键删除策略:惰性删除和定期删除。惰性删除在读取键时检查是否过期并删除,对 CPU 友好但可能积压大量过期键。定期删除则定时抽样检查并删除过期键,对内存更友好。默认每秒扫描 10 次,每次检查 20 个键,若超过 25% 过期则继续检查,单次最大执行时间 25ms。两者结合使用以平衡性能和资源占用。
45 11
|
1月前
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
|
1月前
|
存储 监控 NoSQL
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。