Redis 多机

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 集群当数据量过大时,单个 Redis 数据库就无法存放。我们需要多个 Redis 数据库组成集群(cluster),去分别存放不同的数据。

Redis 多机

集群

当数据量过大时,单个 Redis 数据库就无法存放。我们需要多个 Redis 数据库组成集群(cluster),去分别存放不同的数据

  1. key-value 数据进行存入时,会根据 key 的哈希值对 16384 取模,放入相应的槽(slot)存放。这 16384 个槽会分发给各个存储空间。
  2. 各个存储空间之间会相互通信,并记录所有编号的槽都存储在哪个存储空间:保证最多访问 Redis 两次可以命中。

配置文件

cluster enabled yes                            # 开启集群
cluster-config-file nodes-6379.conf            # 集群配置文件(默认为 nodes.conf)Copy to clipboardErrorCopied
复制代码

集群指令

  • 通过 redis-cli 打开 Redis 集群中的数据库,输入指令去插入不属于这个存储空间的键值,会返回错误。
  • 通过 redis-cli -c 打开 Redis 集群中的数据库,会自动将插入数据指令转发到相应的存储空间。

主从复制

如果数据只交给一个 Redis 服务器处理,那么可能面临两大问题:

  1. 服务器同时处理过多读写操作,超过服务器负载。
  2. 一旦服务器宕机,就会导致服务异常中断。

为了避免这两个问题,我们必须引入多个 Redis 服务器来保存相同数据,并采用主从复制结构:一个主服务器 Master 对应多个从服务器 Slave 。

  1. 读写分离:Master 负责写入数据;Slave 则会自动同步数据,并负责读取数据。起到均衡负载的作用。
  2. 数据冗余:即使某个 Slave 故障,由于其他 Slave 已保存了这些数据,并不会导致服务中断。

容错机制

  • 主从之间使用心跳建立连接。 Slave 每秒 ping 一次,汇报自己的偏移量、获取最新的指令。Master 默认每 10s ping 一次 Slave, 检查 slave 是否在线:如果 Slave 多数掉线或者高延迟,Master 停止写和数据同步功能,保障数据稳定性。
  • 在分布式系统里还会部署多个 Redis 服务器作为哨兵(除端口号外完全相同),不提供数据服务,只负责监控主从机制的运行:如果发现 Master 宕机,哨兵将通知所有机器,使 Master 下线并开启投票机制选用一个 Slave 担任 Master 。

配置连接

Master 和 Slave 通过以下过程建立连接。

网络异常,图片无法展示
|

相比于输入指令,我们一般直接修改 conf 文件夹内的配置文件,由机器自动建立连接。

# Master 
requirepass 123456                # 连接主服务器需要密码(可选)
# Slave
slaveof 127.0.0.1 6379            # 根据套接字自动连接主服务器
masterauth 123456                 # 主服务器密码Copy to clipboardErrorCopied
复制代码

数据同步

Slave 会定期复制 Master 的持久化文件,以保证数据同步。

网络异常,图片无法展示
|

复制缓冲区:一个先入先出队列,用来存储 AOF 形式指令。由偏移量记录当前执行到的位置。

  • 如果开启 AOF ,在创建时就会开启复制缓冲区。(偏移量记录自己执行到的位置)
  • 如果使用 RDB ,在成为 Master 时会开启复制缓冲区。(Master 可以含有多个偏移量,记录不同 Slave 读取到的位置。)

如果 Slave 过多,数据同步也会导致 Master 负载过高。因此 Slave 也可以兼职 Master,向下级 Slave 提供服务。但层次太多会导致数据延迟,慎用。

  1. 数据同步阶段应避免流量高峰期,防止影响业务正常执行;也不要多个从服务器同时同步数据。
  2. 缓冲区应该足够大,否则一旦发生数据溢出会反复进行全量复制。
# Master
repl-backlog-size 2mb                 # 修改缓冲区大小(默认 1mb)
# Slave
slave-serve-stale-data no             # 不允许同步数据时读数据Copy to clipboardErrorCopied
复制代码

命令传播

服务器每次启动都会随机生成一个运行 ID(40 位 16 进制字符) ,Master 和 Slave 之间正是依靠 Master 的运行 ID 相互识别。



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
存储 监控 NoSQL
|
5月前
|
存储 监控 NoSQL
redis高可用
redis高可用
65 0
|
7月前
|
缓存 NoSQL Redis
Redis主从架构
Redis主从架构
60 0
|
9月前
|
NoSQL Redis 数据库
【Redis】单机安装Redis
【Redis】单机安装Redis
58 0
BXA
|
11月前
|
存储 监控 负载均衡
Redis高可用实现
在实际生产环境中为保证Redis的服务连续性和可靠性,需要设计一个高可用架构。即当某一台Redis服务器出现故障时其他Redis服务器可以顶上继续提供服务从而保证整个系统的连续性和稳定性。
BXA
135 0
|
缓存 NoSQL 算法
Redis - 高并发场景问题讲解
Redis - 高并发场景问题讲解
149 0
|
存储 NoSQL Redis
基于单机redis的分布式锁实现
最近我们有个服务经常出现存储的数据出现重复,首先上一个系统流程图: 用户通过http请求可以通知任务中心结束掉自己发送的任务,这时候任务中心会通过MQ通知结束服务去结束任务保存数据,由于任务结束数据计算保存有一定延时,所以存在用户短时间内多次结束同一个任务,这时候就会导致我们结束服务对同一个任务保存
179 0
|
存储 监控 NoSQL
redis 系列:高可用
Redis 作为最常用的 key-value 服务,一直为我们带来了高性能的保障。但程序嘛,总不可能一直运行下去,而我们所要做的就是将这些风险降到最低。
327 0
redis 系列:高可用
|
监控 负载均衡 NoSQL
Redis 集群之Redis+Twemproxy方案
Twemproxy 是 Twtter 开源的一个 Redis 和 Memcache 代理服务器,主要用于管理 Redis 和 Memcached 集群,减少与Cache 服务器直接连接的数量。
3691 0