Redis

Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。
Redis 通常被称为数据结构服务器，因为值（value）可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等类型。

• 优势

  • 性能极高
  • 丰富的数据类型 —— Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作
  • 原子 —— Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
  • 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

• Redis与其他key-value存储有什么不同？

  • Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。
  • Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是，相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。

基础

数据类型

• string（字符串）

  • 最基本类型
  • 二进制安全，可以包含任何数据，如 jpg 图片或序列化的对象
  • 最大存储 512MB

SET firstKey "Hello World"
GET firstKey
# output: "Hello World"
# 可以通过 DEL firstKey 来删除

• hash（哈希）

  • 键值对集合
  • string 类型的 field 和 value 的映射表
  • 适合用于存储对象
  • 每个 hash 可以存储 2³²-1 键值对

HMSET firstHM field1 "Hello World" field2 "Hello Redis"
HGET firstHM field1
# output: "Hello World"
HGET firstHM field2
# output: "Hello Redis"

• list（列表）

  • 简单的字符串列表，按照插入顺序排序
  • 可以添加一个元素到列表头部或尾部
  • 列表最多可存储 2³²-1 个元素

# 插入
lpush firstLS h # 返回下一个 index （integer）1
lpush firstLS e
lpush firstLS l

#查询
lrange firstLS 0 10
# output:
# "h"
# "e"
# "l"

• set（集合）

  • string 类型的无序集合，不允许有重复的成员
  • 集合是通过哈希表实现的，所以添加、删除、查找的复杂度是 O(1)
  • sadd key member
  • 集合最多可存储 2³²-1 个成员

sadd firstSet hello
sadd firstSet world
sadd firstSet redis
sadd firstSet redis # 元素具有唯一性，第二次插入会被忽略

smembers firstSet
# output:
# "hello"
# "world"
# "redis"

• zset(sorted set：有序集合)

  • 和 set 一样是 string 类型元素的集合，不允许有重复的成员
  • 每个元素会关联一个 double 类型的分数，redis 通过分数来为集合中的成员从小到大排序
  • 成员是唯一的，但是分数(score)可以重复
  • zadd key score member

zadd firstZSet 0 hello
zadd firstZSet 0 world
zadd firstZSet 0 redis

zrangebyscore firstZSet 0 1000
# output:
#   "hello"
#   "world"
#   "redis"

配置

配置文件redis.conf(windows 为 redis.windows.conf)

• 查看配置

# CONFIG GET CONFIG_SETTING_NAME
redis 127.0.0.1:6379> CONFIG GET loglevel
# output:
#   "loglevel"
#   "notice"

redis 127.0.0.1:6379> CONFIG GET * # 获取所有

• 编辑配置

# CONFIG SET CONFIG_SETTING_NAME NEW_CONFIG_VALUE
redis 127.0.0.1:6379> CONFIG SET loglevel "notice"

• 参数说明

redis.config

Redis 命令

redis-cli

# 连接服务端
redis-cli -h 127.0.0.1 -p 6379 -a password

Redis 键（key）

用于管理 redis 的键

Redis 字符串（String）

Redis 哈希（Hash）

Redis 列表（List）

Redis 集合（Set）

Redis 有序集合（sorted set）

Redis HyperLogLog

用来做基数统计的算法,每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2⁶⁴ 个不同元素的基数。
优点：在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的

基数：数据集 {1, 3, 5, 7, 5, 7, 8} 的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为 5。
基数估计：在误差可接受的范围内，快速计算基数。

Redis 发布订阅

Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。

Redis 事务

Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证：

• 批量操作在发送 EXEC 命令前被放入队列缓存
• 收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行
• 在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中

一个事务从开始到执行会经历以下三个阶段:

• 开始事务
• 命令入队
• 执行事务

单个 Redis 命令的执行是原子性的，但 Redis 没有在事务上增加任何维持原子性的机制，所以 Redis 事务的执行并不是原子性的。
事务可以理解为一个打包的批量执行脚本，但批量指令并非原子化的操作，中间某条指令的失败不会导致前面已做指令的回滚，也不会造成后续的指令不做。

Redis 脚本

Redis 脚本使用 Lua 解释器来执行脚本。执行脚本的常用命令为 EVAL。

Redis 连接

Redis 服务器

Redis Geo

Redis Stream

Redis Stream 是 Redis 5.0 版本新增加的数据结构。
Redis Stream 主要用于消息队列（MQ，Message Queue），Redis 本身是有一个 Redis 发布订阅 (pub/sub) 来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis 宕机等，消息就会被丢弃。
简单来说发布订阅 (pub/sub) 可以分发消息，但无法记录历史消息。
而 Redis Stream 提供了消息的持久化和主备复制功能，可以让任何客户端访问任何时刻的数据，并且能记住每一个客户端的访问位置，还能保证消息不丢失。

Redis Stream 的结构如下所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的 ID 和对应的内容：

每个 Stream 都有唯一的名称，它就是 Redis 的 key，在我们首次使用 xadd 指令追加消息时自动创建。

• Consumer Group ：消费组，使用 XGROUP CREATE 命令创建，一个消费组有多个消费者(Consumer)
• last_delivered_id ：游标，每个消费组会有个游标 last_delivered_id，任意一个消费者读取了消息都会使游标 last_delivered_id 往前移动
• pending_ids ：消费者(Consumer)的状态变量，作用是维护消费者的未确认的 id。 pending_ids 记录了当前已经被客户端读取的消息，但是还没有 ack (Acknowledge character：确认字符）

消息队列相关命令

• XADD 添加消息到末尾

# key 队列名称
# id 消息 id，使用 * 表示由 redis 生成，可以自定义，需要自己维护递增
# field value 记录
# XADD key ID field value [field value ...]

• XTRIM 对流进行修剪，限制长度

# key 队列名称
# MAXLEN 长度
# count 数量
# XTRIM key MAXLEN [~] count

• XDEL 删除消息

# XDEL key ID [ID ...]
# key 队列名称
# ID 消息 ID

• XLEN 获取流包含的元素数量，即消息长度

# XLEN key
# key 队列名称

• XRANGE 获取消息列表，会自动过滤已经删除的消息

# XRANGE key start end [COUNT count]
# key 队列名称
# start 开始值 - 表示最小值
# end 结束值 + 表示最大值
# count 数量

• XREVRANGE 反向获取消息列表，ID 从大到小

# XREVRANGE key end start [COUNT count]

• XREAD 以阻塞或非阻塞方式获取消息列表

# XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key ...] id [id ...]
# milliseconds 可选 阻塞毫秒数，没有设置就是非阻塞模式

消费者组相关命令

• XGROUP CREATE 创建消费者组
• XREADGROUP GROUP 读取消费者组中的消息
• XACK 将消息标记为“已处理”
• XGROUP SETID 为消费者组设置新的最后递送消息 ID
• XGROUP DELCONSUMER 删除消费者
• XGROUP DESTROY 删除消费者组
• XPENDING 显示待处理消息的相关信息
• XCLAIM 转移消息的归属权
• XINFO 查看流和消费者组相关信息
• XINFO GROUPS 打印消费者组的信息
• XINFO STREAM 打印流信息

Redis 高级用法

Redis 数据备份与恢复

• 创建当前数据的备份

# 在 redis 安装目录中创建 dump.rdb 文件
SAVE

# 后台执行备份
BGSAVE

• 恢复数据
  只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可

# 获取 redis 目录
CONFIG GET dir

Redis 安全

# 查看是否设置了密码
CONFIG GET requirepass
# output:
#   "requirepass"
#   "" # 默认参数为空，即无需密码验证就可以连接到 redis 服务

# 修改
CONFIG SET requirepass "cellpwd"
# output:
#   OK

# 密码验证
AUTH "cellpwd"

Redis 性能测试

通过同时执行多个命令实现 redis-benchmark [option] [option value]

# 同时执行 10000 个请求
redis-benchmark -n 10000 -q

可选参数

Redis 客户端连接

Redis 通过监听一个 TCP 端口或者 Unix socket 的方式来接收来自客户端的连接，当一个连接建立后，Redis 内部会进行以下一些操作：

• 首先，客户端 socket 会被设置为非阻塞模式，因为 Redis 在网络事件处理上采用的是非阻塞多路复用模型
• 然后为这个 socket 设置 TCP_NODELAY 属性，禁用 Nagle 算法
• 然后创建一个可读的文件事件用于监听这个客户端 socket 的数据发送

客户端命令

Redis 管道技术

Redis 是一种基于客户端-服务端模型以及请求/响应协议的 TCP 服务。一个请求会遵循以下步骤：

• 客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应
• 服务端处理命令，并将结果返回给客户端

Redis 管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。
管道技术最显著的优势是提高了 redis 服务的性能。

$(echo -en "PING\r\n SET mykey redis\r\nGET mykey\r\nINCR visitor\r\nINCR visitor\r\nINCR visitor\r\n"; sleep 10) | nc localhost 6379
# 使用 PING 命令查看redis服务是否可用
# 设置 mykey 的值为 redis
# 获取 mykey 的值并使得 visitor 自增 3 次
# 上面命令一次性向 redis 服务提交，并最终一次性读取所有服务端的响应

Redis 分区

分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。
优势：

• 通过利用多台计算机内存的和值，允许构造更大的数据库
• 通过多核和多台计算机，允许扩展计算能力
• 通过多台计算机和网络适配器，允许扩展网络带宽

不足：

• 涉及多个 key 的操作通常是不被支持的（当两个 set 映射到不同的 redis 实例上时，就不能对这两个 set 执行交集操作）
• 涉及多个 key 的 redis 事务不能使用
• 当使用分区时，数据处理较为复杂，比如需要处理多个 rdb/aof 文件，并且从多个实例和主机备份持久化文件

• 增加或删除容量也比较复杂

  • redis 集群大多数支持在运行时增加、删除节点的透明数据平衡的能力
  • 但是类似于客户端分区、代理等其他系统则不支持这项特性
  • 可以使用 在线扩容（Pre-Sharding）解决

分区类型：

• 范围分区：映射一定范围的对象到特定的 Redis 实例，需要维护分区范围映射表
• 哈希分区：用一个 hash 函数将 key 转换为一个数字，对这个整数取模，如将其转化为0-3之间的数字，就可以将这个整数映射到 4 个 Redis 实例中的一个了