redis数据库事务处理及hash,list,set类型的python开发应用

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介:

着这段时间做项目,又拾起来redis这个nosql利器。。

以前redis用的最多方面是string的kv存储,队列和mq通信。这段时间重新系统的学习了redis。

关于redis hash哈希的解释:(很官方

redis hash是一个string类型的field和value的映射表.它的添加,删除操作都是O(1)(平均).hash特别适合用于存储对象。相较于将对象的每个字段存成
单个string类型。将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap(又称为small hash)来存储的。这个zipmap其实并不是hash table,但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加,删除,查找都是O(n),但是由于一般对象的field数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field或者value的大小超出一定限制后,redis会在内部自动将zipmap替换成正常的hash实现. 这个限制可以在配置文件中指定

单个string类型。将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap(又称为small hash)来存储的。这个zipmap其实并不是hash table,但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加,删除,查找都是O(n),但是由于一般对象的field数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field或者value的大小超出一定限制后,redis会在内部自动将zipmap替换成正常的hash实现. 这个限制可以在配置文件中指定

hash-max-zipmap-entries 64 #配置字段最多64个
hash-max-zipmap-value 512 #配置value最大为512字节

上面说完,就该我了:

最近在做一个域用户管理的相关的东西。 要生成两个临时的token。 要是单纯的 一个key 一个value 针对value expire时间限制的话是完全可以的。 但是一对多话,我就不知道咋搞了。。。 我想了很多的方案。 改用复杂的mysql 加了时间的对比。 实现是实现了,但是方法很搓。。。 后来再看redis文档,才发现,redis 有个hash的东西。 可以做成配置字段的概念。

比如 :(大家看下面字段,就明白了redis的hash表了吧

运维部 高xx c开发

运维部 李xx cdn运维

运维部 峰云 啥都行

无线部 王xx 前端

视频部 樊xx ruby


下面介绍hash相关命令:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
1 . hset
HSET key field value
将哈希表key中的域field的值设为value。如果key不存在,一个新的哈希表被创建并进行hset操作。如果域field已经存在于哈希表中,旧值将被覆盖。
2 . hget
HGET key field
返回哈希表key中指定的field的值。
3 . hsetnx
HSETNX key field value
将哈希表key中的域field的值设置为value,当且仅当域field不存在。若域field已经存在,该操作无效。如果key不存在,一个新哈希表被创建并执行hsetnx命令。
4 . hmset
HMSET key field value [field value ...]
同时将多个field - value(域-值)对设置到哈希表key中。此命令会覆盖哈希表中已存在的域。如果key不存在,一个空哈希表被创建并执行hmset操作。
5 . hmget
HMGET key field [field ...]
返回哈希表key中,一个或多个给定域的值。如果给定的域不存在于哈希表,那么返回一个nil值。因为不存在的key被当作一个空哈希表来处理,所以对一个不存在的key进行hmget操作将返回一个只带有nil值的表。
6 . hgetall
HGETALL key
返回哈希表key中,所有的域和值。在返回值里,紧跟每个域名(field name)之后是域的值(value),所以返回值的长度是哈希表大小的两倍。
7 . hdel
HDEL key field [field ...]
删除哈希表key中的一个或多个指定域,不存在的域将被忽略。
8 . hlen
HLEN key
返回哈希表key对应的field的数量。
9 . hexists
HEXISTS key field
查看哈希表key中,给定域field是否存在。
10 . hkeys
HKEYS key
获得哈希表中key对应的所有field。
11 . hvals
HVALS key
获得哈希表中key对应的所有values。
12 . hincrby
为哈希表key中的域field的值加上增量increment。增量也可以为负数,相当于对给定域进行减法操作。如果key不存在,一个新的哈希表被创建并执行hincrby命令。如果域field不存在,那么在执行命令前,域的值被初始化为 0 。对一个储存字符串值的域field执行hincrby命令将造成一个错误。本操作的值限制在 64 位(bit)有符号数字表示之内。

232217518.jpg下面是我用python写的实例,大家用ipython的时候,会有很好的提示的,在python中的用法,基本和redis-cli差不多的。

232720719.jpg


redis list 类型:

push pop 队列先进先出 栈先进后出 list 既可以作为栈又可以作为队列

List 是一个链表结构,主要功能是push,pop,获取一个范围的所有值等等,操作中key理解为链表的名字

235330473.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
In [ 91 ]: r.lpush( 'url' 'xiaorui.cc' )
Out[ 91 ]:  1L
In [ 92 ]: r.lpush( 'url' '163.com' )
Out[ 92 ]:  2L
In [ 93 ]: r.lpush( 'url' 'sina.com' )
Out[ 93 ]:  3L
In [ 94 ]: r.lpush( 'url' 'qq.com' )
Out[ 94 ]:  4L
In [ 95 ]: r.lpush( 'url' 'letv.com' )
Out[ 95 ]:  5L
In [ 96 ]: r.lrange( 'url' 0 , - 1 )
Out[ 96 ]: [ 'letv.com' 'qq.com' 'sina.com' '163.com' 'xiaorui.cc' ]
In [ 97 ]: r.rpop( "url" )        
Out[ 97 ]:  'xiaorui.cc'
In [ 98 ]: r.rpop( "url" )
Out[ 98 ]:  '163.com'
In [ 99 ]: r.rpop( "url" )
Out[ 99 ]:  'sina.com'
In [ 100 ]: r.rpop( "url" )
Out[ 100 ]:  'qq.com'
In [ 101 ]: r.rpop( "url" )
Out[ 101 ]:  'letv.com'


redis的list的详细点的用法:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
1   lpush  从list 头部压入一个元素   先进后出
     lpush mylist  "word"
     lpush mylist  "ehll"
     lrange mylist  0  - 1     显示  ehll    word
2   lrange mylist  0  - 1     0 代表从头部   1  从尾部
3   rpush  从尾部压入一个元素    先进先出
     rpush list2  zhang
     rpush list2   san
     lrange list2   0  - 1
      return   zhang san
4   linsert从中间压入一个元素
     lpush mylist3   "world"
     在  one   two 直接压入three
     lpush list3 one
     lpush list3 two
     linsert list3 before one three
5   lset 给某个元素赋值
     lpush list3 one
     lpush list3 two
     lset list3  1  three
    two  的值被改变成three
6  lrem  从key 对应list中删除n个和value相同的元素   (n< 0 从尾部删除,n= 0 全部删除)
       remove
    lrem  list6  2  one      删除 2 个和one一样值元素
7  ltrim  保留指定key范围内的数据
    1  2  3  4
    ltrim   list8  1  - 1   保留的元素范围,其余的都删除
8   lpop   从list 头部删除一个元素,并返回删除的元素
     lpop mylist
9   rpop  从list 尾部删除一个元素,并返回删除的元素
     rpop  mylist
10   rpoplpush  从尾部删除一个元素并从头部添加一个元素
      rpoplpush   mylist1   mylist2  把mylist1 元素删除 添加到mylist2中
11  lindex 返回名称为key的list 中index 位置的元素
      lindex mylist  0
      lindex mylist  1
12   llen 返回链表中的元素个数
       llen  mylist


对于 redis set的使用:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
sadd(key, member):向名称为key的 set 中添加元素member
srem(key, member) :删除名称为key的 set 中的元素member
spop(key) :随机返回并删除名称为key的 set 中一个元素
smove(srckey, dstkey, member) :移到集合元素
scard(key) :返回名称为key的 set 的基数
sismember(key, member) :member是否是名称为key的 set 的元素
sinter(key1, key2,…key N) :求交集
sinterstore(dstkey, (keys)) :求交集并将交集保存到dstkey的集合
sunion(key1, (keys)) :求并集
sunionstore(dstkey, (keys)) :求并集并将并集保存到dstkey的集合
sdiff(key1, (keys)) :求差集
sdiffstore(dstkey, (keys)) :求差集并将差集保存到dstkey的集合
smembers(key) :返回名称为key的 set 的所有元素
srandmember(key) :随机返回名称为key的 set 的一个元素



nosql用起来,性能好,使用简单,推荐大家经常用用~





 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1317007,如需转载请自行联系原作者



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
19天前
|
存储 消息中间件 NoSQL
Redis数据结构:List类型全面解析
Redis数据结构——List类型全面解析:存储多个有序的字符串,列表中每个字符串成为元素 Eelement,最多可以存储 2^32-1 个元素。可对列表两端插入(push)和弹出(pop)、获取指定范围的元素列表等,常见命令。 底层数据结构:3.2版本之前,底层采用**压缩链表ZipList**和**双向链表LinkedList**;3.2版本之后,底层数据结构为**快速链表QuickList** 列表是一种比较灵活的数据结构,可以充当栈、队列、阻塞队列,在实际开发中有很多应用场景。
|
30天前
|
消息中间件 存储 监控
redis 的List类型 实现 排行榜
【10月更文挑战第8天】
37 2
|
30天前
|
存储 NoSQL Redis
redis-set类型
【10月更文挑战第6天】
36 1
|
1月前
|
消息中间件 分布式计算 NoSQL
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
大数据-41 Redis 类型集合(2) bitmap位操作 geohash空间计算 stream持久化消息队列 Z阶曲线 Base32编码
27 2
|
19天前
|
存储 NoSQL 关系型数据库
Redis的ZSet底层数据结构,ZSet类型全面解析
Redis的ZSet底层数据结构,ZSet类型全面解析;应用场景、底层结构、常用命令;压缩列表ZipList、跳表SkipList;B+树与跳表对比,MySQL为什么使用B+树;ZSet为什么用跳表,而不是B+树、红黑树、二叉树
|
1月前
|
并行计算 Python
Python错误笔记(一):CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up env
这篇文章讨论了CUDA初始化时出现的未知错误及其解决方案,包括重启系统和安装nvidia-modprobe。
131 0
|
1月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
130 0
|
6月前
|
测试技术 Python
Python中的装饰器应用与实践
在Python编程中,装饰器是一种强大的工具,能够优雅地扩展和修改函数或方法的行为。本文将深入探讨Python中装饰器的作用、原理以及实际应用场景,帮助读者更好地理解并运用装饰器提升代码的可维护性和灵活性。
|
7天前
|
机器学习/深度学习 数据采集 数据可视化
Python在数据科学中的应用:从入门到实践
本文旨在为读者提供一个Python在数据科学领域应用的全面概览。我们将从Python的基础语法开始,逐步深入到数据处理、分析和可视化的高级技术。文章不仅涵盖了Python中常用的数据科学库,如NumPy、Pandas和Matplotlib,还探讨了机器学习库Scikit-learn的使用。通过实际案例分析,本文将展示如何利用Python进行数据清洗、特征工程、模型训练和结果评估。此外,我们还将探讨Python在大数据处理中的应用,以及如何通过集成学习和深度学习技术来提升数据分析的准确性和效率。
|
5月前
|
数据采集 数据可视化 大数据
Python在大数据处理中的应用实践
Python在大数据处理中扮演重要角色,借助`requests`和`BeautifulSoup`抓取数据,`pandas`进行清洗预处理,面对大规模数据时,`Dask`提供分布式处理能力,而`matplotlib`和`seaborn`则助力数据可视化。通过这些工具,数据工程师和科学家能高效地管理、分析和展示海量数据。
204 4