《Redis入门指南》一5.3 Python与Redis

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介:

本节书摘来异步社区《Redis入门指南》一书中的第5章,第5.3节,作者: 李子骅 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

5.3 Python与Redis

Redis入门指南
Redis官方推荐的Python客户端是redis-py1。

5.3.1 安装

推荐使用pip install redis安装最新版本的redis-py,也可以使用easy_install:easy_install redis。

5.3.2 使用方法

首先需要引入redis-py:

import redis

下面的代码将创建一个默认连接到地址127.0.0.1,端口6379的Redis连接:

r = redis.StrictRedis()

也可以显式地指定需要连接的地址:

r = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)

使用起来很容易,这里以SET和GET命令作为示例:

r.set('foo', 'bar') # True
r.get('foo')     # 'bar'

5.3.3 简便用法

1.HMSET/HGETALL
HMSET支持将字典作为参数存储,同时HGETALL的返回值也是一个字典,搭配使用十分方便:

r.hmset('dict', {'name': 'Bob'})
people = r.hgetall('dict')

print people # {'name': 'Bob'}

2.事务和管道
redis-py的事务使用方式如下:

pipe = r.pipeline()
pipe.set('foo', 'bar')
pipe.get('foo')
result = pipe.execute()

print result # [True, 'bar']

管道的使用方式和事务相同,只不过需要在创建时加上参数transaction=False:

pipe = r.pipeline(transaction=False)

事务和管道还支持链式调用:

result = r.pipeline().set('foo', 'bar').get('foo').execute()
# [True, 'bar']

5.3.4 实践:在线的好友

一般的社交网站上都可以看到用户在线的好友列表,如图 5-4 所示。在 Redis 中可以很容易地实现这个功能。


5_4

在线好友其实就是全站在线用户的集合和某个用户所有好友的集合取交集的结果。如果现在我们的网站就是使用集合类型键来存储用户的好友 ID 的,那么只需要一个存储在线用户列表的集合即可。如何判定一个用户是否在线呢?通常的方法是每当用户发送HTTP 请求时都记录下请求发生的时间,所有指定时间内发送过请求的用户就算作在线用户。这段时间根据场景不同取值也不同,以10分钟为例:某个用户发送了一个HTTP请求,9分钟后系统仍然认为他是在线的,但到了第11分钟就不算作他在线了。

在 Redis 中我们可以每隔 10 分钟就使用一个键来存储该 10分钟内发送过请求的用户ID列表。如12点20分到12点29分的用户ID存储在active.users:2中,12点30分到12点39分的用户ID存储在active.users:3中,以此类推(注意每次调用SADD命令增加用户ID时需要同时设置键的生存时间在50分钟内以防止命名冲突)。这样需要获得当前在线用户只需要读取当前分钟数对应的键即可。不过这种方案会造成较大的误差,比如某个用户在29分访问了一个页面,他的ID被记录在active.users:2键中,而在30分时系统会读取active.users:3键来获取在线用户列表,即该用户的在线状态只持续了1分钟而不是预想的10分钟。

这时就需要粒度更小的记录方案来解决这个问题。我们可以将原先每 10 分钟记录一个键改为每 1 分钟记录一个键,即在 12点29分访问的用户的ID将会被记录在active.users:29中。而判断一个用户是否在最近10分钟在线只需要判断其在最近的10个集合键中是否出现过至少一次即可,这一过程可以通过SUNION命令实现。

下面介绍使用Python来实现这一过程。我们这里使用了web.py框架,web.py是一个易于使用的Python网站开发框架,可以通过sudo pip install web.py来安装它。

代码如下:

# -*- coding: utf-8 -*-
import web
import time
import redis

r = redis.StrictRedis()

""" 配置路由规则
'/':    模拟用户的访问
'/online': 查看在线用户
"""
urls = (
   '/', 'visit',
   '/online', 'online'
)
app = web.application(urls, globals())

""" 返回当前时间对应的键名
如28分对应的键名是active.users:28
"""
def time_to_key(current_time):
   return 'active.users:' + time.strftime('%M', time.localtime(current_time))

""" 返回最近10分钟的键名
结果是列表类型
"""
def keys_in_last_10_minutes():
   now = time.time()
   result = []
   for i in range(10):
     result.append(time_to_key(now - i * 60))
   return result

class visit:
   """ 模拟用户访问
   将用户的User agent作为用户的ID加入到当前时间对应的键中
   """
   def GET(self):
     user_id = web.ctx.env['HTTP_USER_AGENT']
     current_key = time_to_key(time.time())
     pipe = r.pipeline()
     pipe.sadd(current_key, user_id)
     # 设置键的生存时间为10分钟
     pipe.expire(current_key, 10 * 60)
     pipe.execute()

     return 'User:\t' + user_id + '\r\nKey:\t' + current_key

class online:
   """ 查看当前在线的用户列表
   """
   def GET(self):
     online_users = r.sunion(keys_in_last_10_minutes())
     result = ''
     for user in online_users:
       result += 'User agent:' + user + '\r\n'
     return result


if __name__ == "__main__":
   app.run()

在代码中我们建立了两个页面。首先我们打开http://127.0.0.1:8080,该页面对应visit类,每次访问该页面都会将用户的浏览器User agent存储在记录当前分钟在线用户的键中,并将User agent和键名显示出来,如图5-5所示。


5_5

从键名可知该次访问是在某时26分钟的时候发生的。然后使用另一个浏览器打开该页面,如图5-6所示。


5_6

该次访问发生在29分钟。最后我们在37分钟时访问http://127.0.0.1:8080/online来查看当前在线用户列表,如图5-7所示。


5_7

结果与预期一样,在线列表中只有在29分钟访问的用户。

另一种方法:有序集合
有时网站本来就要记录全站用户的最后访问时间(如图5-8所示),这时就可以直接利用此数据获得最后一次访问发生在10分钟内的用户列表(即在线用户)。


5_8


我们使用一个有序集合来记录用户的最后访问时间,元素值为用户的ID,分数为最后一次访问的UNIX时间。要获得最近10分钟访问过的用户列表可以使用ZRANGEBYSCORE命令:

ten_minutes_ago = time.time() - 10 * 60
online_users = r.zrangebyscore('last.seen', ten_minutes_ago, '+inf')

那么如何获取在线的好友列表呢(与上一个例子一样,此时依然使用集合类型存储用户的好友列表)?最直接的方法就是将上面存储在线用户列表的online_users变量存入 Redis 的一个集合类型的键中然后和用户的好友列表取交集。然而这种方法需要在服务端和客户端之间传输数据,如果在线用户多的话会有较大的网络开销,而且这种方法也不能通过Redis的事务功能实现原子操作。为了解决这些问题,我们希望实现一个方法将ZRANGEBYSCORE命令的结果直接存入一个新键中而不返回到客户端。思路如下:有序集合只有ZINTERSTORE和ZUNIONSTORE两个命令支持直接将运算结果存入键中,然而这两个命令都不能实现我们要的操作。所以只能换种思路:既然没办法直接把有序集合中某一分数段的元素存入新键中,那何不干脆复制一个新建,并使用ZREMRANGEBYSCORE命令将我们不需要的分数段的元素删除?

有了这一思路后下面的实现方法就很简单了,步骤如下。

(1)复制一个last.seen键的副本temp.last.seen,方法为ZUNIONSTORE temp.last.seen 1 last.seen。在这里我们巧妙地借助了ZUNIONSTORE命令实现了对有序集合类型键的复制过程,即参加求并集操作的元素只有一个,结果自然就是它本身。

(2)将不在线的用户(即10分钟以前的用户)删除。方法为ZREMRANGEBYSCOREtemp.last.seen 0 10分钟前的UNIX时间。

(3)现在temp.last.seen键中存储的就是当前的在线用户了。我们将其和用户的好友列表做交集:ZINTERSTORE online.friends 2 temp.last.seen user:42:friends。这里我们以ID为42的用户举例,user:42:friends是存储其好友的集合类型键2。

(4)使用ZRANGE命令获取online.friends键的值。

(5)收尾工作,删除temp.last.seen和online.friends键。因为temp.last.seen键可以被所有用户共用,所以可以根据情况将其缓存一段时间,在下次需要生成时先判断是否有该键,如果有则直接使用。

以上5步需要使用事务或脚本实现以保证每个步骤的原子性。

有的时候我们会使用有序集合键来存储用户的好友列表以记录成为好友的时间,此时第3步依然奏效。

虽然以上的步骤有些复杂,但是实现起来并不难,有兴趣的读者可以自己完成。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
NoSQL Unix 网络安全
【Azure Cache for Redis】Python Django-Redis连接Azure Redis服务遇上(104, 'Connection reset by peer')
【Azure Cache for Redis】Python Django-Redis连接Azure Redis服务遇上(104, 'Connection reset by peer')
【Azure Cache for Redis】Python Django-Redis连接Azure Redis服务遇上(104, 'Connection reset by peer')
|
1月前
|
NoSQL Linux Redis
linux安装单机版redis详细步骤,及python连接redis案例
这篇文章提供了在Linux系统中安装单机版Redis的详细步骤,并展示了如何配置Redis为systemctl启动,以及使用Python连接Redis进行数据操作的案例。
45 2
|
14天前
|
消息中间件 存储 NoSQL
python 使用redis实现支持优先级的消息队列详细说明和代码
python 使用redis实现支持优先级的消息队列详细说明和代码
29 0
|
2月前
|
缓存 NoSQL 网络安全
【Azure Redis 缓存】 Python连接Azure Redis, 使用redis.ConnectionPool 出现 "ConnectionResetError: [Errno 104] Connection reset by peer"
【Azure Redis 缓存】 Python连接Azure Redis, 使用redis.ConnectionPool 出现 "ConnectionResetError: [Errno 104] Connection reset by peer"
|
2月前
|
缓存 监控 NoSQL
【Azure Redis 缓存】使用Python代码获取Azure Redis的监控指标值 (含Powershell脚本方式)
【Azure Redis 缓存】使用Python代码获取Azure Redis的监控指标值 (含Powershell脚本方式)
|
17天前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
53 1
|
17天前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
33 2
数据的存储--Redis缓存存储(二)
|
13天前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
50 6
|
1月前
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
18天前
|
缓存 NoSQL 关系型数据库
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿
本文深入探讨了Redis缓存的相关知识,包括缓存的概念、使用场景、可能出现的问题(缓存预热、缓存穿透、缓存雪崩、缓存击穿)及其解决方案。
85 0
redis和缓存及相关问题和解决办法 什么是缓存预热、缓存穿透、缓存雪崩、缓存击穿