redis存储原理和数据模型

简介: redis存储原理和数据模型

redis是不是单线程,单线程是指什么?

       通过redis-server redis-conf启动redis服务,启动后的redis-server是主线程,bio_close_file线程用来关闭大文件,redis是内存数据库,当我们需要将内存数据刷新到磁盘中,redis中有种方式是fork一个进程并在子进程中进行持久化,持久化工程中会产生rdb的文件,rdb文件中存储着内存中的数据,如果rdb是个大文件,就会涉及关闭大文件的问题;bio_aof_fsync也是刷盘线程,write把文件数据写到缓冲区,fsync把缓冲区的数据刷新到磁盘中,第一种aof也是一种持久化的方式,它是在进程当中直接进行刷盘,第二种aof是fork产生一个进程并在子进程中进行持久化;io_thd_*是开启的多个线程帮我们处理读写io的操作;jemalloc_bg_thd线程分配和管理内存及内存池;可以看到redis并不是单线程,我们说的单线程是指命令处理是单线程,所有数据结构的操作都是在单线程redis-server中处理的;

为什么redis要单线程处理命令?

       单线程的局限是,不能有耗时操作,对于redis而言会影响响应性能;

       io密集型,有磁盘io和网络io,磁盘io在fork的子进程中进行持久化,或aof异步刷盘;

       网络io,有多个和redis建立的连接并且连接中发送了大量的数据,需要往redis中读大量数据,redis中记录日志,如果只有一个线程去处理就会有很大的负担成为耗时的操作;

       cpu密集型,如果kv中的v数据结构非常大,处理不高效,就可能带来cpu密集;

       不采用多线程的原因,一个是kv中的v数据结构较多,加锁复杂,锁的粒度不好控制,一个是频繁的上下文切换会抵消多线程的优势;

redis源码实现

       在redis中通过宏定义区分字符串的编码方式;

       散列表中会有很多的kv,不同的value可能是不同的类型,redisDB中dict是用于存储db中所有数据;expires说明key过期情况;blocking_keys说明阻塞连接;ready_keys说明key的变动情况;重点是dict数据结构;

       所有的数据存储的ht[2]中,就是散列表的意思;

       table是指针数组,size是数组的长度,因为数组长度必须是2^n,sizemask是数组长度减一,通过hash(key)&sizemaskZ优化,used说明实际存储的元素个数;

       rehash的规律,经过rehash后,ht[0]中0位置的数据要么在ht[1]中0位置,要么在ht[1]中4位置;

       redis中有个scan去遍历所有的kv确保不重复不遗漏,上面rehash可能因为正在进行扩容而出现重复;如果size是4的话,那么先遍历0,然后遍历2,再遍历1,最后遍历3;size等于8的时候则是树中第二层遍历规则;采用高位进位加法的遍历顺序,rehash后的槽位在遍历顺序上是相邻的;遍历目标是不重复,不遗漏;会出现一种重复的情况,在scan过程当中,发生两次缩容的时候,会发生数据重复;如果项目中用到scan命令,在server端自己去重;

redis中rehash源码

redis中的跳表

redis中io多线程相关函数与实现

redis中io多线程,redis.conf中说明了线程数为4,其中有一个为主线程;io thread本质上只开了三个线程;io多线程的总前提是要有多个并发连接,一条连接不会使用io多线程;

如果只有一条连接的情况下,stopThreadedIOIfNeeded会把多线程关闭掉;

目录
相关文章
|
存储 缓存 NoSQL
Redis 服务器全方位介绍:从入门到核心原理
Redis是一款高性能内存键值数据库,支持字符串、哈希、列表等多种数据结构,广泛用于缓存、会话存储、排行榜及消息队列。其单线程事件循环架构保障高并发与低延迟,结合RDB和AOF持久化机制兼顾性能与数据安全。通过主从复制、哨兵及集群模式实现高可用与横向扩展,适用于现代应用的多样化场景。合理配置与优化可显著提升系统性能与稳定性。
738 0
|
11月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
11月前
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
754 67
|
7月前
|
存储 缓存 监控
Redis分区的核心原理与应用实践
Redis分区通过将数据分散存储于多个节点,提升系统处理高并发与大规模数据的能力。本文详解分区原理、策略及应用实践,涵盖哈希、范围、一致性哈希等分片方式,分析其适用场景与性能优势,并探讨电商秒杀、物联网等典型用例,为构建高性能、可扩展的Redis集群提供参考。
367 0
|
10月前
|
存储 缓存 NoSQL
告别数据僵尸!Redis实现自动清理过期键值对
在数据激增的时代,Redis如同内存管理的智能管家,支持键值对的自动过期功能,实现“数据保鲜”。通过`EXPIRE`设定生命倒计时、`TTL`查询剩余时间,结合惰性删除与定期清理策略,Redis高效维护内存秩序。本文以Python实战演示其过期机制,并提供最佳实践指南,助你掌握数据生命周期管理的艺术,让数据优雅退场。
560 0
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供 8 种数据淘汰策略: 淘汰易失数据(具有过期时间的数据) 1. volatile-lru(least recently used):从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰 2. volatile-lfu(least frequently used):从已设置过期时间的数据集(server.db[i].expires)中挑选最不经常使用的数据淘汰 3. volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰 4. volatile-random:从已设置过期
|
NoSQL Redis
Redis的数据持久化策略有哪些 ?
Redis 提供了两种方式,实现数据的持久化到硬盘。 1. RDB 持久化(全量),是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2. AOF持久化(增量),以日志的形式记录服务器所处理的每一个写、删除操作 RDB和AOF一起使用, 在Redis4.0版本支持混合持久化方式 ( 设置 aof-use-rdb-preamble yes )
|
缓存 NoSQL 中间件
Redis的线程模型
Redis采用单线程模型确保操作的原子性,每次只执行一个操作,避免并发冲突。它通过MULTI/EXEC事务机制、Lua脚本和复合指令(如MSET、GETSET等)保证多个操作要么全成功,要么全失败,确保数据一致性。Redis事务在EXEC前失败则不执行任何操作,EXEC后失败不影响其他操作。Pipeline虽高效但不具备原子性,适合非热点时段的数据调整。Redis 7引入Function功能,支持函数复用,简化复杂业务逻辑。总结来说,Redis的单线程模型简单高效,适用于高并发场景,但仍需合理选择指令执行方式以发挥其性能优势。
325 6