redis存储原理和数据模型

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: redis存储原理和数据模型

redis是不是单线程,单线程是指什么?

       通过redis-server redis-conf启动redis服务,启动后的redis-server是主线程,bio_close_file线程用来关闭大文件,redis是内存数据库,当我们需要将内存数据刷新到磁盘中,redis中有种方式是fork一个进程并在子进程中进行持久化,持久化工程中会产生rdb的文件,rdb文件中存储着内存中的数据,如果rdb是个大文件,就会涉及关闭大文件的问题;bio_aof_fsync也是刷盘线程,write把文件数据写到缓冲区,fsync把缓冲区的数据刷新到磁盘中,第一种aof也是一种持久化的方式,它是在进程当中直接进行刷盘,第二种aof是fork产生一个进程并在子进程中进行持久化;io_thd_*是开启的多个线程帮我们处理读写io的操作;jemalloc_bg_thd线程分配和管理内存及内存池;可以看到redis并不是单线程,我们说的单线程是指命令处理是单线程,所有数据结构的操作都是在单线程redis-server中处理的;

为什么redis要单线程处理命令?

       单线程的局限是,不能有耗时操作,对于redis而言会影响响应性能;

       io密集型,有磁盘io和网络io,磁盘io在fork的子进程中进行持久化,或aof异步刷盘;

       网络io,有多个和redis建立的连接并且连接中发送了大量的数据,需要往redis中读大量数据,redis中记录日志,如果只有一个线程去处理就会有很大的负担成为耗时的操作;

       cpu密集型,如果kv中的v数据结构非常大,处理不高效,就可能带来cpu密集;

       不采用多线程的原因,一个是kv中的v数据结构较多,加锁复杂,锁的粒度不好控制,一个是频繁的上下文切换会抵消多线程的优势;

redis源码实现

       在redis中通过宏定义区分字符串的编码方式;

       散列表中会有很多的kv,不同的value可能是不同的类型,redisDB中dict是用于存储db中所有数据;expires说明key过期情况;blocking_keys说明阻塞连接;ready_keys说明key的变动情况;重点是dict数据结构;

       所有的数据存储的ht[2]中,就是散列表的意思;

       table是指针数组,size是数组的长度,因为数组长度必须是2^n,sizemask是数组长度减一,通过hash(key)&sizemaskZ优化,used说明实际存储的元素个数;

       rehash的规律,经过rehash后,ht[0]中0位置的数据要么在ht[1]中0位置,要么在ht[1]中4位置;

       redis中有个scan去遍历所有的kv确保不重复不遗漏,上面rehash可能因为正在进行扩容而出现重复;如果size是4的话,那么先遍历0,然后遍历2,再遍历1,最后遍历3;size等于8的时候则是树中第二层遍历规则;采用高位进位加法的遍历顺序,rehash后的槽位在遍历顺序上是相邻的;遍历目标是不重复,不遗漏;会出现一种重复的情况,在scan过程当中,发生两次缩容的时候,会发生数据重复;如果项目中用到scan命令,在server端自己去重;

redis中rehash源码

redis中的跳表

redis中io多线程相关函数与实现

redis中io多线程,redis.conf中说明了线程数为4,其中有一个为主线程;io thread本质上只开了三个线程;io多线程的总前提是要有多个并发连接,一条连接不会使用io多线程;

如果只有一条连接的情况下,stopThreadedIOIfNeeded会把多线程关闭掉;

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供了 8 种数据淘汰策略,分为淘汰易失数据和淘汰全库数据两大类。易失数据淘汰策略包括:volatile-lru、volatile-lfu、volatile-ttl 和 volatile-random;全库数据淘汰策略包括:allkeys-lru、allkeys-lfu 和 allkeys-random。此外,还有 no-eviction 策略,禁止驱逐数据,当内存不足时新写入操作会报错。
73 16
|
2月前
|
监控 NoSQL Java
场景题:百万数据插入Redis有哪些实现方案?
场景题:百万数据插入Redis有哪些实现方案?
45 1
场景题:百万数据插入Redis有哪些实现方案?
|
2月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
78 6
|
3天前
|
存储 消息中间件 监控
Redis Stream:实时数据流的处理与存储
通过上述分析和具体操作示例,您可以更好地理解和应用 Redis Stream,满足各种实时数据处理需求。
33 14
|
1月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
在项目中,为了解决Redis与Mysql的数据一致性问题,我们采用了多种策略:对于低一致性要求的数据,不做特别处理;时效性数据通过设置缓存过期时间来减少不一致风险;高一致性但时效性要求不高的数据,利用MQ异步同步确保最终一致性;而对一致性和时效性都有高要求的数据,则采用分布式事务(如Seata TCC模式)来保障。
64 14
|
1月前
|
缓存 NoSQL PHP
Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出
本文深入探讨了Redis作为PHP缓存解决方案的优势、实现方式及注意事项。Redis凭借其高性能、丰富的数据结构、数据持久化和分布式支持等特点,在提升应用响应速度和处理能力方面表现突出。文章还介绍了Redis在页面缓存、数据缓存和会话缓存等应用场景中的使用,并强调了缓存数据一致性、过期时间设置、容量控制和安全问题的重要性。
40 5
|
1月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用哈希槽分区算法,共有16384个哈希槽,每个槽分配到不同的Redis节点上。数据操作时,通过CRC16算法对key计算并取模,确定其所属的槽和对应的节点,从而实现高效的数据存取。
49 13
|
1月前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
Redis 采用两种过期键删除策略:惰性删除和定期删除。惰性删除在读取键时检查是否过期并删除,对 CPU 友好但可能积压大量过期键。定期删除则定时抽样检查并删除过期键,对内存更友好。默认每秒扫描 10 次,每次检查 20 个键,若超过 25% 过期则继续检查,单次最大执行时间 25ms。两者结合使用以平衡性能和资源占用。
47 11
|
1月前
|
监控 NoSQL 测试技术
【赵渝强老师】Redis的AOF数据持久化
Redis 是内存数据库,提供数据持久化功能,支持 RDB 和 AOF 两种方式。AOF 以日志形式记录每个写操作,支持定期重写以压缩文件。默认情况下,AOF 功能关闭,需在 `redis.conf` 中启用。通过 `info` 命令可监控 AOF 状态。AOF 重写功能可有效控制文件大小,避免性能下降。
|
1月前
|
存储 监控 NoSQL
【赵渝强老师】Redis的RDB数据持久化
Redis 是内存数据库,提供数据持久化功能以防止服务器进程退出导致数据丢失。Redis 支持 RDB 和 AOF 两种持久化方式,其中 RDB 是默认的持久化方式。RDB 通过在指定时间间隔内将内存中的数据快照写入磁盘,确保数据的安全性和恢复能力。RDB 持久化机制包括创建子进程、将数据写入临时文件并替换旧文件等步骤。优点包括适合大规模数据恢复和低数据完整性要求的场景,但也有数据完整性和一致性较低及备份时占用内存的缺点。
下一篇
DataWorks