Redis看这一篇就够了(六)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Redis看这一篇就够了(六)

集群的主从切换

主从切换分为两种,一种是主服务器下线,一种是从服务器下线。

  • 从服务器下线,一个 从节点下线,可以从主的日志中看到,10秒连接不上,就下线,下线后再上线主向从节点复制数据。其它主从会记录整个集群状态
  • 主服务器下线,master一段时间失联,被slave谋朝篡位,当它再回来的时候,只能屈居为一个小小的slave。一个 主节点下线,从节点尝试重连,连到10秒【10次】,认为主节点失败,自己申请成为主节点,主重新连接后成为了slave,已经被改朝换代了。其它主从会记录整个集群状态

以上就是主从切换的场景。

主从复制

在主从切换的过程中使用到了主从复制,数据同步。主从复制有非常重要的作用,和kafka及ES的集群架构本质相同,都是为了三高设计的:

  • 读写分离:master写,slave读,提高服务器读写负载能力
  • 负载均衡:基于主从结构,配合读写分离,由slave来分担master的负载,并根据需求的变化,弹性扩容slave的数量,通过多节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量。
  • 故障恢复:当master出现问题时,由slave提供服务,实现快速的故障恢复
  • 数据冗余:实现数据热备份,是持久化之外的一种数据冗余方式
  • 高可用基石:基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案

了解了主从复制的优势,我们来看看主从复制的实现流程,整体分为三个阶段:建立连接阶段【slave发起】、数据同步阶段【master发起】、命令传播阶段【master和slave互发指令】

建立连接阶段

建立slave到master的连接,使master能够识别slave,并保存slave的端口号。建立连接阶段主要有以下几个步骤:

数据同步阶段

数据同步阶段主要工作就是将master的数据全量的【包含历史数据快照以及同步过程中新进来的指令,也就是RDB和AOF混合模式】同步到slave机器,让他们之间保持数据状态一致,主要流程如下:

数据同步和命令传播阶段的详细实现工作流程如下,第一次slave连接时发送的是psync2 ? -1拿到runid和offset后即可进行增量的数据请求

对于Master而言需要注意以下几点数据同步时的场景需求,Master需要进行如下的选择和配置以达到数据同步的最佳状态:

  • 同步时机:如果master数量巨大,数据同步阶段应避开流量高峰期,避免造成master阻塞,影响业务正常执行
  • 复制缓冲区设置:复制缓冲区大小设置应合理,否则会导致指令溢出,这种情况下数据可能会丢失,同步到slave的也不全,丢失后必须重新进行RDB,然后指令再溢出,导致陷入死循环,大小可以依据业务场景设置,我这里设置为100m:repl-backlog-size 100mb,具体应该依据业务场景判断
  • 内存使用设置:master单机内存占用主机内存比例不应过大,建议使用50%-70%的内存,留下30%-50%内存用于执行bgsave命令创建和复制缓冲区

以上就是master部分需要设置的,当然slave也需要做一些设置和配置,Slave需要进行如下的选择和配置以达到数据同步的最佳状态:

  • 关闭对外写服务:为避免slave进行全量、部分复制时服务器阻塞,建议slave保持关闭服务状态:slave-server-stale-data no,设置后同步期间外部客户端均不能对slave进行任何操作
  • 同步时机:多个slave同时对master请求数据同步,master发送的RDB文件增加,造成带宽冲击,数据同步应错峰执行
  • 架构思考:slave过多时,调整拓扑结构为复合架构,多层级架构,这么做可以减少master压力,但需要注意顶层master与底层slave之间的数据同步可能不及时。

以上就是slave部分需要设置和注意的内容

命令传播阶段

数据同步完成后就开始周期性的进行指令的传播,进行反复同步,实际上就是AOF不停的从master发到slave,slave重写指令后执行指令,达到数据复制的目的。需要注意,其实在数据同步阶段的时候命令也在不停的传播,这个过程中是通过心跳检测机制来进行的。

缓存穿透、缓存雪崩、缓存击穿

关于企业级的一些Redis缓存解决方案,包括:缓存预热、缓存雪崩、缓存击穿、缓存穿透,以及一些简单的性能监测指标。依据政策流程以及可能会在什么分支上发生什么灾难,我构建了下列的流程图,正确请求是先从缓存拿数据,拿不到再从数据库里拿。

缓存预热、缓存雪崩、缓存击穿主要原因为频繁访问数据库更新缓存,造成数据库压力过大,而穿透则是因为数据库也没有数据,不停的进行穿透请求,造成Redis服务器和数据库压力均很大。心里有个数后可以详细的看看各种情况及处理手段。

缓存雪崩

缓存雪崩是指缓存中短期内有大批量的key集中过期,而查询数据量巨大,导致短期内应用服务器、数据库、Redis服务器和集群扛不住压力集中宕机。

现象和问题原因

为了便于理解,我将雪崩时的现象和背后的原因做了一个对应关系的展示:

解决方案

其实主要问题就是短时间内key的集中化过期,我们让这些key不集中过期其实就是解决这个问题的关键。

  • 调整删除策略,LRU和LFU的删除策略,按照命中次数去进行删除,保留高热数据key
  • 稀释数据有效期,对不同的业务数据进行统计和分类错峰过期,错峰使用随机时间实现,稀释key的集中到期数量
  • 超热数据使用永久的key
  • 定期维护,对即将过期的热点数据进行延时策略,延长过期时间
  • 加锁,缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。

加锁排队只是为了减轻数据库的压力,并没有提高系统吞吐量。假设在高并发下,缓存重建期间key是锁着的,这时过来1000个请求999个都在阻塞的。同样会导致用户等待超时,加锁排队有可能还要解决分布式锁的问题;线程还会被阻塞,用户体验很差!因此,在真正的高并发场景下很少使用!

缓存击穿

缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。导致短期内数据库扛不住压力集中宕机

现象和问题原因

为了便于理解,我将击穿时的现象和背后的原因做了一个对应关系的展示:

解决方案

其实主要问题就是单个超热key的高并发访问,我们让超热key不过期其实就是解决这个问题的关键。

  • 预先设定超热Key,对此类Key设置长期Key并追加延时策略【后台开启定时任务刷新有效期】
  • 临时设置永久Key,访问业务量短期内激增的时候,临时设置为永久Key保证不过期
  • 加分布式锁,防止被击穿,其实就是降低对数据库的访问压力,但整体依然是阻塞的。

简单地来说,加分布式锁就是在缓存失效的时候(判断拿出来的值为空),不是立即去load db,而是在获取到锁后再进行操作。

缓存穿透

缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,数据库的压力骤增。 导致短期内数据库扛不住压力宕机

现象和问题原因

为了便于理解,我将穿透时的现象和背后的原因做了一个对应关系的展示:

解决方案

其实主要问题就是大量请求对数据库击穿,我们让请求到不了数据库就行了:

  • 缓存null,如果一个查询返回的数据为空(无论是数据不存在,还是系统故障),我们仍然把这个空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。问题是:空值做了缓存,意味着缓存层中存了更多的键,需要更多的内存空间 ( 如果是攻击,问题更严重 ),比较有效的方法是针对这类数据设置一个较短的过期时间(最长不超过五分钟),让其自动剔除。还有就是缓存层和存储层的数据会有一段时间窗口的不一致,可能会对业务有一定影响。例如过期时间设置为 5分钟,如果此时存储层添加了这个数据,那此段时间就会出现缓存层和存储层数据的不一致,此时可以利用消息系统或者其他方式清除掉缓存层中的空对象
  • 白名单策略,提前预热所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃。还有最常见的则是采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层存储系统的查询压力
  • 实时监控,实时监控redis命中率中null的占比,平时监测一个数量,如果超过多少倍就认定有攻击,增加黑名单策略
  • key加密,防止黑客知道哪些key不存在,让key加密。

以上就是整个缓存穿透的一个解决方案

行文至此,已洋洋洒洒7万言,关于Redis的知识要点都已在此做了重点说明,看此一篇基本就能上手Redis了。希望与诸君在学习和进步的路上越走越远。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 消息中间件 NoSQL
redis入门到精通系列(一):入门redis看这一篇就够了
如果你是计算机专业学生 ,那么一定使用过关系型数据库mysql。在请求量小的情况下,使用mysql不会有任何问题,但是一旦同时有成千上万个请求同时来访问系统时,就会出现卡顿甚至系统崩溃的情况。最典型的例子就是早期的12306购票网站,一旦到了购票高峰期,12306肯定崩溃。造成这个原因的罪魁祸首就是关系型数据库。
5129 0
redis入门到精通系列(一):入门redis看这一篇就够了
|
7月前
|
存储 NoSQL Linux
【Redis入门】 —— 关于Redis的一点儿知识
【Redis入门】 —— 关于Redis的一点儿知识
|
存储 缓存 NoSQL
前端了解这些 Redis 操作就够了
前端了解这些 Redis 操作就够了
1744 0
|
存储 NoSQL 安全
Redis看这一篇就够了(二)
Redis看这一篇就够了(二)
102 0
Redis看这一篇就够了(二)
|
存储 缓存 监控
Redis看这一篇就够了(四)
Redis看这一篇就够了(四)
67 0
Redis看这一篇就够了(四)
|
存储 消息中间件 SQL
Redis看这一篇就够了(一)
Redis看这一篇就够了
155 0
|
缓存 NoSQL API
Redis看这一篇就够了(三)
Redis看这一篇就够了(三)
63 0
|
存储 消息中间件 缓存
Redis看这一篇就够了(五)
Redis看这一篇就够了(五)
156 0
|
存储 缓存 监控
一文搞懂redis(下)
一文搞懂redis(下)
|
存储 SQL 消息中间件
一文搞懂redis(上)
一文搞懂redis(下)