1 简介
我们继续的动力通常来自有某个问题，或者我们有了一个工具，通常会想，它可以解决什么类型的问题？
在使用时应注意什么它？在我们回答这些问题中的任何一个之前，我们需要了解它是什么。
Redis通常被描述为内存中持久键值存储。它确实将所有数据保存在内存中，并且确实将其写到磁盘上以实现持久性，但是不仅仅是一个简单的键值存储。
重要的是要走出这种误解，否则您的观点及其解决的问题将太狭窄。现实是Redis公开了五种不同的数据结构，其中只有一种是典型的键值结构。
2 理解的关键
了解redis缓存五个数据结构，它们如何工作，它们公开了哪些方法以及可以使用哪些模型进行建模它们是了解Redis的关键。
典型的Sql数据库只有一种数据结构 那就是 表 tables， 表可以是 即复杂又灵活(both complex and flexible)。
但是通常很难对 表 做 建模，存储或操作 (model,store, or manipulate).它们的通用性并非没有缺点。
这里没有表那样的千篇一律的结构 a one-size-fits-all structure, 相反处理标量，列表，哈希或集合，就直接将它们存储为标量，列表，哈希和集合。
scalars, lists, hashes, or sets
不需要如mysql一般检查 是否 存在 值 ， 比调用exist（key）更复杂，或者比O（1）慢。
不过这里，让我们集中讨论具体应用例子和指令含义结构。
3 怎样使用
举例：
查看 fibonacci 数列 第35个fibonacci数列值的计算，不使用缓存对比使用缓存 时间成本是6倍
使用缓存 不使用缓存
计算第10个fibonacci数 0.05 0.05
计算第35个fibonacci数 0.05 6.9
计算第40个Fibonacci数 0.05 超时....
非确定性缓存 --- 当不确定他们表示状态是否与其他系统组件（后台服务）状态一致时，一种权衡。
当高速缓存 时间小于 函数时间，那么缓存就是有效的适用
关系型数据库以及常用任何类型的结构化数据存储引擎。
Web Api 访问的第三方服务
文件系统，非常频繁访问的文件
向多个用户提供 数据或服务
进程共享相同缓存结果，既减少宝贵的计算资源占用，又解决由多个独立并且不一致的缓存引起的问题
Redis 是一种开源NoSQL数据库，使用ANSI与C写成，一种内存数据结构服务，用于存储从内存提供的所有数据。并使用磁盘进行存储。
仅通过RediSearch模块支持二级索引，mongo支持绝大多数二级索引，不支持Map Reduce方法，mongodb支持 map reduce方法。
4 做为缓存消息队列：阻塞操作的RPOP，BRPOP
无需轮询判断队列是不是有新元素
客户端1开启监听 并阻塞
shell_client1: BRPOP list1 0客户端2 存入消息
shell_client2: LPUSH list1 a客户端1 立即收到消息并退出
优点
能够实现持久化
采用 Master－Slave 数据复制模式。
队列操作都是写操作，Master任务繁重，能让Slave分担的持久化工作，就不要Master做。RDB和AOF两种方法都用上，多重保险。
支持集群
接口使用简单
不足
Redis上消息只会被一个消费者消费，不会有多个订阅者消费同一个消息，简单一对一
生产者或者消费者崩溃后的处理机制，需要自己实现
生产者写入太快，消费者消费太慢，导致Redis的内存问题，处理机制需要自己实现
通过pub/sub来实现
5 消息队列的实现特点：
一个客户端发布，允许多个客户端 多次消费。
即发即弃： 非持久化消息机制，发布者和订阅者必须同时在线。
不保证数据完整性。
不支持消息确认机制 Ack/Nack/Reject 需要自己在应用层面实现，但如果这样，可以直接使用MQ，ZeroMq，RobbitMQ,Kafka(需要另启用独立服务)。
发布、订阅 pub/sub。 List, SortedSet, Streams 都支持消息持久化，需要避免消息堆积，造成内存压力。
与其他队列对比：
1 基于channel消息
这一类消息和redis中存储 keys没有太多关联。 即使不在redis存储任何keys信息，这类消息也可以独立使用。
2 基于redis存储的keys信息变化事件进行通知。
可以用于向订阅者通知redis符合订阅条件keys的各种事件。
3 Streams 流式队列计算
redis > 5
所有提交的消息按顺序串为一个消息链
Stream允许 重复消费，支持ACK
消息队列相关命令：
XADD - 添加消息到末尾
使用 XADD 向队列添加消息，如果指定的队列不存在，则创建一个队列，XADD 语法格式：
XADD key ID field value [field value ...]
key ：队列名称，如果不存在就创建
ID ：消息 id，我们使用 * 表示由 redis 生成，可以自定义，但是要自己保证递增性。
field value ： 记录。
XTRIM - 对流进行修剪，限制长度 使用 XTRIM 对流进行修剪，限制长度，
XDEL - 删除消息 使用 XLEN 获取流包含的元素数量，即消息长度，语法格式：
XLEN - 获取流包含的元素数量，即消息长度
XRANGE - 获取消息列表，会自动过滤已经删除的消息
XREVRANGE - 反向获取消息列表，ID 从大到小
XREAD - 以阻塞或非阻塞方式获取消息列表
消费者组相关命令：
XGROUP CREATE - 创建消费者组
XREADGROUP GROUP - 读取消费者组中的消息
XACK - 将消息标记为"已处理"
XGROUP SETID - 为消费者组设置新的最后递送消息ID
XGROUP DELCONSUMER - 删除消费者
XGROUP DESTROY - 删除消费者组
XPENDING - 显示待处理消息的相关信息
XCLAIM - 转移消息的归属权
XINFO - 查看流和消费者组的相关信息；
XINFO GROUPS - 打印消费者组的信息；
XINFO STREAM - 打印流信息
6 做为临时缓存 和 页面缓存
与将数据存储在磁盘上的数据库相比，Redis 的所有数据都驻留在内存中，避免了寻道时间延迟，并且可以在微秒内超快地访问数据。
通常，Redis 用于缓存数据库查询结果，用于启用对象缓存，而不是页面缓存。
使用Nginx SRCache 模块，我们可以使用 Redis 服务于不同的目的，提供基于子请求的页面缓存，作为 Nginx FastCGI Cache 的替代方案。
例子 用于每个ip的访问计数，以及 每个用户 ID 的不同 IP 地址集（用于滥用检测）
1. 要抓取的网站列表。
2.所有抓取的页面都应该被存储。
3. 为不同类型的网站定义频率 - 新网站应该经常被抓取
4. 考虑robot.txt 来确定什么不应该被抓取
5. 了解页面是否有任何变化，如果有，重新抓取。
6. 解析并坚持。
需要一个队列以获得 BST 那种体验的数据结构
1. Set : Key 是 URL 的 hash，value 是解析后的内容
2. Zset: Key 作为 URL 和时间戳的 hash
Queue - FIFO。将检查内容是否在 Set 中可用，如果没有，则它将与 Zset 一起存储在 Set 中。
涉及技术
- 布隆过滤器，用于确定页面是否不存在于存储中。这是Redis中的OOB。
- 对于页面修改，依赖修改时间、MD5 等，这可以作为一个单独的集合持久化。
7，做为其他数据库的缓存数据库
分类确定性缓存 --- 记忆化 --- functools.lru_cache(maxsize, typed) 装饰器 Least recently used， maxsizd
设置高速缓存的空间上限，None表示没有限制， typed 定义不同类型的值是否应该被缓存为相同结果。
给定完全相同输入，确定性函数总是返回相同的值。可以无期限存储他们的结果。 在进程内存中缓存，检索时最快的。
优化递归函数，针对多次相同的输入进行计算。
redis服务器脚本为 Lua
提供独特数据模型和高性能，可支持各种数据结构：字符串，列表，集合，哈希，可用于数据库缓存或消息代理。 不支持RDBMS，SQL，ACID事务。
单核，安装简单，最大密钥2G。
使用列表，字符串，哈希，排序集，位图(常用于地理信息系统) 作为数据结构。
支持主从复制，多主从复制。
具有文档存储，图形DBMS，搜索引擎，时间序列DBMS作为 辅助数据库模型。
支持持久化，支持分片。
如何在redis中 设计一个缓存
1， 确定 数据是否被应用程序 重复读取 2， 确认 访问缓存数据的 key 键格式 3， 选择 正常的 redis 数据 类型 4，允许 value 值 生存时间 TTL time-to-live 5， 决定数据 驱逐策略 Decide the eviction policy 6， 实现读写逻辑
8 高速订阅服务
发布订阅的三种实现：
Pub/Sub
publish <channel name><message>
subscribe <channel name>
List
lpush <list_name> <message>
brpop <list_name> <timeout> # timeout 是必填参数
Sorted Set
zadd <timeseries name> <timestamp> <message>
zrangebyscore <timeseries name> <last timestamp> <current timestamp> WITHSCORS
6 内存数据库 会话数据库 Session Store
app会话需要频繁读写 Session based apps with frequent reads and writes
app会话间的数据需要隔离 Data is isolated between sessions
例如
电子商务 e-Commerce， 游戏 gaming，社交应用 social applications
设计一个会话数据库
1，确定存储 会话数据的表结构
2，确定 redis对应的 数据结构
3，列出需求，开发redis 对应的结构
4，决定程序 加载会话数据（session data）和 怎样从redis再同步数据 到 mysql
5，修改数据访问层 或 应用app
7 流量限制 Rate Limiting
内建工具：
redis 内置计数器 Built-in counters
访问生存数据 TTL
线程安全 从架构上保证 事务操作序列正确
流控简单实现 结构
web_server Queue Cache/Lock Query Worker
LUA脚本 使用 INCR 与 EXPIRE 操作实现 流量限制
Lua脚本 如果需要限流 limit 选择操作
// redis 限流功能 每分钟 300000 调用
counter = Redis.call(INCR call_counter)
IF counter < 300000
// Expire the key in 60s
IF counter == 0 THEN
Redis.call(EXPIRE call_counter 60)
END IF
// run db query
END IF
9 Geo数据
Search - RediSearch
地球环境指标 #Geo Spatial Indexing
最具性价比的 数据管理和缩放操作
数据以更快速度存取。
在高业务压力场景下 保持应用程序的响应。
克服 数据库的 物理能力限制（特别是磁盘数据的性能问题）。
附 常用指令表速查
注：命令的使用与大小写无关。
比如: DEL = DEl = dEL = dEl = DeL = DeL...
- Redis 键(key)相关 命令
命令 描述，
Type 返回 key 所储存的值的类型。
Expire seconds 为给定 key 设置过期时间。
DEL 该命令用于在 key 存在时删除 key。
PEXPIREAT 设置 key 的过期时间亿以毫秒计。
PEXPIREAT 设置 key 过期时间的时间戳(unix timestamp) 以毫秒计
Rename 修改 key 的名称
Renamenx 仅当 newkey 不存在时，将 key 改名为 newkey 。
OBJECT ENCODING 查看键对象编码形式
OBJECT REFCOUNT 查看键对象引用计数
OBJECT IDLETIME 查看键空转时长
OBJECT FREQ 返回键的访问频率索引，最近访问频率的对数成比例
PERSIST 移除 key 的过期时间，key 将持久保持。
Move 将当前数据库的 key 移动到给定的数据库 db 当中。
RANDOMKEY 从当前数据库中随机返回一个 key 。
Dump 序列化给定 key ，并返回被序列化的值。
TTL 以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)。
Pttl 以毫秒为单位返回 key 的剩余的过期时间。
EXISTS 检查给定 key 是否存在。
Expireat EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)。
Keys 查找所有符合给定模式( pattern)的 key 。
Redis 字符串(String) 命令
命令 描述Redis Setnx 命令 只有在 key 不存在时设置 key 的值。 Redis Getrange 命令 返回 key 中字符串值的子字符 Redis Mset 命令 同时设置一个或多个 key-value 对。 Redis Setex 命令 将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。 Redis SET 命令 设置指定 key 的值 Redis Get 命令 获取指定 key 的值。 Redis Getbit 命令 对 key 所储存的字符串值，获取指定偏移量上的位(bit)。 Redis Setbit 命令 对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。 Redis Decr 命令 将 key 中储存的数字值减一。 Redis Decrby 命令 key 所储存的值减去给定的减量值（decrement） 。 Redis Strlen 命令 返回 key 所储存的字符串值的长度。 Redis Msetnx 命令 同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。 Redis Incrby 命令 将 key 所储存的值加上给定的增量值（increment） 。 Redis Incrbyfloat 命令 将 key 所储存的值加上给定的浮点增量值（increment） 。 Redis Setrange 命令 用 value 参数覆写给定 key 所储存的字符串值，从偏移量 offset 开始。 Redis Psetex 命令 这个命令和 SETEX 命令相似，但它以毫秒为单位设置 key 的生存时间，而不是像 SETEX 命令那样，以秒为单位。 Redis Append 命令 如果 key 已经存在并且是一个字符串， APPEND 命令将 value 追加到 key 原来的值的末尾。 Redis Getset 命令 将给定 key 的值设为 value ，并返回 key 的旧值(old value)。 Redis Mget 命令 获取所有(一个或多个)给定 key 的值。 Redis Incr 命令 将 key 中储存的数字值增一。Redis 哈希(Hash) 命令
命令 描述Redis Hmset 命令 同时将多个 field-value (域-值)对设置到哈希表 key 中。 Redis Hmget 命令 获取所有给定字段的值 Redis Hset 命令 将哈希表 key 中的字段 field 的值设为 value 。 Redis Hgetall 命令 获取在哈希表中指定 key 的所有字段和值 Redis Hget 命令 获取存储在哈希表中指定字段的值/td> Redis Hexists 命令 查看哈希表 key 中，指定的字段是否存在。 Redis Hincrby 命令 为哈希表 key 中的指定字段的整数值加上增量 increment 。 Redis Hlen 命令 获取哈希表中字段的数量 Redis Hdel 命令 删除一个或多个哈希表字段 Redis Hvals 命令 获取哈希表中所有值 Redis Hincrbyfloat 命令 为哈希表 key 中的指定字段的浮点数值加上增量 increment 。 Redis Hkeys 命令 获取所有哈希表中的字段 Redis Hsetnx 命令 只有在字段 field 不存在时，设置哈希表字段的值。Redis 列表(List) 命令
命令 描述Redis Lindex 命令 通过索引获取列表中的元素 Redis Rpush 命令 在列表中添加一个或多个值 Redis Lrange 命令 获取列表指定范围内的元素 Redis Rpoplpush 命令 移除列表的最后一个元素，并将该元素添加到另一个列表并返回 Redis Blpop 命令 移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 Redis Brpop 命令 移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 Redis Brpoplpush 命令 从列表中弹出一个值，将弹出的元素插入到另外一个列表中并返回它； 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 Redis Lrem 命令 移除列表元素 Redis Llen 命令 获取列表长度 Redis Ltrim 命令 对一个列表进行修剪(trim)，就是说，让列表只保留指定区间内的元素，不在指定区间之内的元素都将被删除。 Redis Lpop 命令 移出并获取列表的第一个元素 Redis Lpushx 命令 将一个或多个值插入到已存在的列表头部 Redis Linsert 命令 在列表的元素前或者后插入元素 Redis Rpop 命令 移除并获取列表最后一个元素 Redis Lset 命令 通过索引设置列表元素的值 Redis Lpush 命令 将一个或多个值插入到列表头部 Redis Rpushx 命令 为已存在的列表添加值Redis 集合(Set) 命令
命令 描述Redis Sunion 命令 返回所有给定集合的并集 Redis Scard 命令 获取集合的成员数 Redis Srandmember 命令 返回集合中一个或多个随机数 Redis Smembers 命令 返回集合中的所有成员 Redis Sinter 命令 返回给定所有集合的交集 Redis Srem 命令 移除集合中一个或多个成员 Redis Smove 命令 将 member 元素从 source 集合移动到 destination 集合 Redis Sadd 命令 向集合添加一个或多个成员 Redis Sismember 命令 判断 member 元素是否是集合 key 的成员 Redis Sdiffstore 命令 返回给定所有集合的差集并存储在 destination 中 Redis Sdiff 命令 返回给定所有集合的差集 Redis Sscan 命令 迭代集合中的元素 Redis Sinterstore 命令 返回给定所有集合的交集并存储在 destination 中 Redis Sunionstore 命令 所有给定集合的并集存储在 destination 集合中 Redis Spop 命令 移除并返回集合中的一个随机元素Redis 有序集合(sorted set) 命令
命令 描述Redis Zrevrank 命令 返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序 Redis Zlexcount 命令 在有序集合中计算指定字典区间内成员数量 Redis Zunionstore 命令 计算给定的一个或多个有序集的并集，并存储在新的 key 中 Redis Zremrangebyrank 命令 移除有序集合中给定的排名区间的所有成员 Redis Zcard 命令 获取有序集合的成员数 Redis Zrem 命令 移除有序集合中的一个或多个成员 Redis Zinterstore 命令 计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中 Redis Zrank 命令 返回有序集合中指定成员的索引 Redis Zincrby 命令 有序集合中对指定成员的分数加上增量 increment Redis Zrangebyscore 命令 通过分数返回有序集合指定区间内的成员 Redis Zrangebylex 命令 通过字典区间返回有序集合的成员 Redis Zscore 命令 返回有序集中，成员的分数值 Redis Zremrangebyscore 命令 移除有序集合中给定的分数区间的所有成员 Redis Zscan 命令 迭代有序集合中的元素（包括元素成员和元素分值） Redis Zrevrangebyscore 命令 返回有序集中指定分数区间内的成员，分数从高到低排序 Redis Zremrangebylex 命令 移除有序集合中给定的字典区间的所有成员 Redis Zrevrange 命令 返回有序集中指定区间内的成员，通过索引，分数从高到底 Redis Zrange 命令 通过索引区间返回有序集合中指定区间内的成员 Redis Zcount 命令 计算在有序集合中指定区间分数的成员数 Redis Zadd 命令 向有序集合添加一个或多个成员，或者更新已存在成员的分数 Redis ZPOPMIN O(log(N)*M) 其中 N 是排序集中的元素数，M 是弹出的元素数 删除并返回count存储在 的排序集中得分最低的成员key。 未指定时，默认值为count1。 指定count 高于排序集基数的值不会产生错误。返回多个元素时，得分最低的将是第一个，其次是得分较高的元素。Redis 连接 命令
命令 描述Redis Echo 命令 打印字符串 Redis Select 命令 切换到指定的数据库 Redis Ping 命令 查看服务是否运行 Redis Quit 命令 关闭当前连接 Redis Auth 命令 验证密码是否正确Redis 服务器 命令
命令 描述
Redis Client Pause 命令 在指定时间内终止运行来自客户端的命令
Redis Debug Object 命令 获取 key 的调试信息
Redis Flushdb 命令 删除当前数据库的所有key
Redis Save 命令 异步保存数据到硬盘
Redis Showlog 命令 管理 redis 的慢日志
Redis Lastsave 命令 返回最近一次 Redis 成功将数据保存到磁盘上的时间，以 UNIX 时间戳格式表示
Redis Config Get 命令 获取指定配置参数的值
Redis Command 命令 获取 Redis 命令详情数组
Redis Slaveof 命令 将当前服务器转变为指定服务器的从属服务器(slave server)
Redis Debug Segfault 命令 让 Redis 服务崩溃
Redis Flushall 命令 删除所有数据库的所有key
Redis Dbsize 命令 返回当前数据库的 key 的数量
Redis Bgrewriteaof 命令 异步执行一个 AOF（AppendOnly File） 文件重写操作
Redis Cluster Slots 命令 获取集群节点的映射数组
Redis Config Set 命令 修改 redis 配置参数，无需重启
Redis Command Info 命令 获取指定 Redis 命令描述的数组
Redis Shutdown 命令 异步保存数据到硬盘，并关闭服务器
Redis Sync 命令 用于复制功能(replication)的内部命令
Redis Client Kill 命令 关闭客户端连接
Redis Role 命令 返回主从实例所属的角色
Redis Monitor 命令 实时打印出 Redis 服务器接收到的命令，调试用
Redis Command Getkeys 命令 获取给定命令的所有键
Redis Client Getname 命令 获取连接的名称
Redis Config Resetstat 命令 重置 INFO 命令中的某些统计数据
Redis Command Count 命令 获取 Redis 命令总数
Redis Time 命令 返回当前服务器时间
Redis Info 命令 获取 Redis 服务器的各种信息和统计数值
Redis Config rewrite 命令 对启动 Redis 服务器时所指定的 redis.conf 配置文件进行改写
Redis Client List 命令 获取连接到服务器的客户端连接列表
Redis Client Setname 命令 设置当前连接的名称
Redis Bgsave 命令 在后台异步保存当前数据库的数据到磁盘
Redis 脚本 命令
命令 描述Redis Script kill 命令 杀死当前正在运行的 Lua 脚本。 Redis Script Load 命令 将脚本 script 添加到脚本缓存中，但并不立即执行这个脚本。 Redis Eval 命令 执行 Lua 脚本。 Redis Evalsha 命令 执行 Lua 脚本。 Redis Script Exists 命令 查看指定的脚本是否已经被保存在缓存当中。 Redis Script Flush 命令 从脚本缓存中移除所有脚本。Redis 事务 命令
命令 描述Redis Exec 命令 执行所有事务块内的命令。 Redis Watch 命令 监视一个(或多个) key ，如果在事务执行之前这个(或这些) key 被其他命令所改动，那么事务将被打断。 Redis Discard 命令 取消事务，放弃执行事务块内的所有命令。 Redis Unwatch 命令 取消 WATCH 命令对所有 key 的监视。 Redis Multi 命令 标记一个事务块的开始。 Redis HyperLogLog 命令 命令 描述 Redis Pgmerge 命令 将多个 HyperLogLog 合并为一个 HyperLogLog Redis Pfadd 命令 添加指定元素到 HyperLogLog 中。 Redis Pfcount 命令 返回给定 HyperLogLog 的基数估算值。Redis 发布订阅 命令
命令 描述Redis Unsubscribe 命令 指退订给定的频道。 Redis Subscribe 命令 订阅给定的一个或多个频道的信息。 Redis Pubsub 命令 查看订阅与发布系统状态。 Redis Punsubscribe 命令 退订所有给定模式的频道。 Redis Publish 命令 将信息发送到指定的频道。 Redis Psubscribe 命令 订阅一个或多个符合给定模式的频道。Redis 地理位置(geo) 命令
命令 描述Redis GEOHASH 命令 返回一个或多个位置元素的 Geohash 表示 Redis GEOPOS 命令 从key里返回所有给定位置元素的位置（经度和纬度） Redis GEODIST 命令 返回两个给定位置之间的距离 Redis GEORADIUS 命令 以给定的经纬度为中心， 找出某一半径内的元素 Redis GEOADD 命令 将指定的地理空间位置（纬度、经度、名称）添加到指定的key中 Redis GEORADIUSBYMEMBER 命令 找出位于指定范围内的元素，中心点是由给定的位置元素决定
10 小结
总结有以下场景适用。
查询数据库的可调用项的结果。
渲染为静态值的可调用项结果，例如文件内容，Web请求或PDF渲染。
执行复杂计算的确定性可调用对象结果。
全局映射，用于跟踪到期时间的值，如Web会话对象。
需要经常和快速访问的结果。
保存通过Web服务获得的第三代Api结果。 减少延迟
参考 示例代码
https://github.com/redislabsdemo/RateLimiter
