Redis统计大法:挖掘数据的四重宝藏【redis第五部分】

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: Redis统计大法:挖掘数据的四重宝藏【redis第五部分】


前言

数据是新时代的燃料,而Redis是解锁数据宝藏的奇妙工具。在这篇博客中,我们将揭示Redis的统计神器,包括聚合统计、排序统计、二值状态统计和基数统计,助你挖掘数据的四重宝藏。

第一:redis集合统计简介

Redis集合统计是一种在Redis中使用集合数据类型进行统计和分析的方法。这可以涵盖各种应用场景,例如计数、去重、查找共同元素等。以下是关于Redis集合统计的基本概念和用途:

1. 计数: Redis集合允许您存储不重复的元素,因此您可以使用集合来进行计数操作。每当您将一个元素添加到集合时,Redis会确保它不存在于集合中,从而实现了元素的去重。通过检查集合的大小,您可以轻松获取元素的数量,从而进行计数。

2. 去重: 如果您需要从一组数据中去除重复的元素,Redis集合是一个有效的工具。您只需将数据中的元素一个一个地添加到集合中,最后集合中将只包含不重复的元素。

3. 查找共同元素: 您可以使用Redis的集合操作来查找多个集合之间的共同元素。例如,使用交集操作可以找到多个集合之间的重叠元素,这对于查找共同兴趣、共同关注者等情况非常有用。

4. 过滤数据: 使用Redis集合可以帮助您过滤数据。您可以将需要过滤的数据存储在一个集合中,然后逐个检查其他数据是否在该集合中。这对于处理大量数据并提取特定子集的情况非常有用。

5. 统计数据: Redis集合允许您轻松进行元素统计。您可以统计集合的大小,了解集合中元素的数量。这在多种应用中都有用,例如统计用户的点赞、收藏、关注等操作。

6. 快速查找: Redis集合具有快速的查找性能。由于集合中的元素是唯一的,Redis可以在O(1)时间内检查一个元素是否存在于集合中。

Redis集合统计是一个强大的工具,可以在不同应用中用于数据分析、计数和去重等操作。通过合理使用Redis集合,您可以更有效地处理数据并从中获取有用的信息。

第二:聚合统计->数据的综合分析

聚合统计是一种数据分析方法,旨在汇总和综合数据,以提供有关数据集的重要信息。在Redis中,您可以使用集合来执行各种统计任务,包括总和、平均值、中位数等。以下是解释聚合统计原理以及如何使用Redis集合执行这些统计任务的详细信息:

总和(Sum):

  • 原理: 要计算一组数字的总和,您可以将这些数字存储在Redis集合中。每个数字表示一个成员,集合中的成员是唯一的,确保不会有重复的元素。然后,通过遍历集合并将每个成员的值相加,您可以计算出总和。
  • 示例:
SADD numbers 5 10 15 20
SRANDMEMBER numbers 4
# 结果可能是 [15, 5, 20, 10]
  • 计算总和:
SCARD numbers  # 获取集合中的元素数量
4
SRANDMEMBER numbers 4
# 结果可能是 [15, 5, 20, 10]
SMEMBERS numbers
# 获取集合中的所有成员 [5, 10, 15, 20]
SSCAN numbers 0 MATCH * COUNT 1000
# 使用SCAN命令遍历集合中的所有成员
  • 计算总和:
SRANDMEMBER numbers 4
# 结果可能是 [15, 5, 20, 10]
SRANDMEMBER numbers 4
# 随机获取4个集合成员
SMEMBERS numbers
# 获取集合中的所有成员 [5, 10, 15, 20]

平均值(Average)

  • 原理: 要计算一组数字的平均值,首先计算它们的总和,然后将总和除以元素的数量。Redis的集合操作可用于获取集合中元素的数量。
  • 示例:
SADD numbers 5 10 15 20
  • 计算平均值:
SCARD numbers  # 获取集合中的元素数量
4
SRANDMEMBER numbers 4
# 结果可能是 [15, 5, 20, 10]
SMEMBERS numbers
# 获取集合中的所有成员 [5, 10, 15, 20]

中位数(Median)

  • 原理: 要计算一组数字的中位数,首先对这些数字进行排序,然后找到中间的数字。如果元素数量是奇数,中位数就是中间的元素;如果元素数量是偶数,中位数是中间两个元素的平均值。Redis的集合操作可用于对集合中的元素进行排序。
  • 示例:
SADD numbers 5 10 15 20
  • 计算中位数:
SORT numbers LIMIT 1 1
# 对集合中的元素进行升序排序并获取中位数
SORT numbers LIMIT 2 1
# 对集合中的元素进行升序排序并获取中位数
SORT numbers LIMIT 1 1 DESC
# 对集合中的元素进行降序排序并获取中位数
SORT numbers LIMIT 2 1 DESC
# 对集合中的元素进行降序排序并获取中位数

通过这些原理和Redis集合操作,您可以执行各种聚合统计任务,包括总和、平均值和中位数。这对于分析和处理数据非常有用,特别是在需要实时数据计算的应用中。

第三:排序统计->数据排名的魔法

Redis中的排序集合(Sorted Set),也被称为有序集合,是一种数据结构,它允许您存储一组唯一的成员,并为每个成员分配一个分数(score)。有序集合的成员是唯一的,但分数可以重复。

以下是有关Redis排序集合的深入研究,包括如何在数据集中进行排名、范围查询和排名统计的详细信息:

1. 添加成员到排序集合:

您可以使用ZADD命令将成员添加到排序集合中,并分配一个分数。分数可以是整数或浮点数。成员会根据其分数在集合中排序。

ZADD myset 90 "Alice"
ZADD myset 85 "Bob"
ZADD myset 95 "Charlie"

2. 获取成员的排名:

您可以使用ZRANK命令来获取排序集合中特定成员的排名。排名是从0开始的,表示成员在排序集合中的位置。

ZRANK myset "Alice"  # 返回0,因为Alice在排序集合中的排名是第一位
ZRANK myset "Bob"    # 返回1
ZRANK myset "Charlie" # 返回2

3. 获取成员的分数:

使用ZSCORE命令,您可以获取排序集合中特定成员的分数。

ZSCORE myset "Alice"  # 返回90
ZSCORE myset "Bob"    # 返回85
ZSCORE myset "Charlie" # 返回95

4. 获取指定排名范围的成员:

使用ZRANGE命令,您可以按排名范围获取排序集合中的成员。这对于获取排名最高的前N个成员非常有用。

ZRANGE myset 0 1  # 获取排名前两位的成员,返回["Alice", "Bob"]

5. 获取指定分数范围的成员:

使用ZRANGEBYSCORE命令,您可以按分数范围获取排序集合中的成员。这对于获取分数在特定范围的成员非常有用。

ZRANGEBYSCORE myset 85 90  # 获取分数在85到90之间的成员,返回["Bob", "Alice"]

6. 获取成员的排名和分数:

使用ZRANGE命令的WITHSCORES选项,您可以同时获取成员的排名和分数。

ZRANGE myset 0 1 WITHSCORES  # 获取排名前两位的成员及其分数,返回["Bob", "85", "Alice", "90"]

7. 删除成员:

使用ZREM命令,您可以从排序集合中删除指定的成员。

ZREM myset "Bob"  # 从排序集合中删除Bob

8. 计算成员的排名:

使用ZINCRBY命令,您可以增加或减少成员的分数,并返回新的分数。这可用于更新成员的排名。

ZINCRBY myset 5 "Alice"  # 将Alice的分数增加5

Redis排序集合非常适用于需要对数据进行排名和排序的应用。它可以用于领先的排行榜、时间序列数据、范围查询等情况,提供了高效的数据操作和统计能力。

第四:二值状态统计->设备状态的掌控

Redis的位图(Bitmaps)和位操作是强大的工具,可用于实时设备状态跟踪和统计。它们可以有效地处理设备状态的二进制信息,使您能够迅速了解设备的状态、历史和趋势。以下是有关如何使用Redis位图和位操作进行设备状态掌控的探讨:

1. 位图(Bitmaps)的基本概念

  • 位图是Redis中的二进制数据结构,可以用来表示一组二进制位,每个位表示某个设备的状态。位图可以存储大量设备的状态信息,非常紧凑且高效。
  • 每个位代表一个设备的状态,通常0表示关闭或无事件,1表示开启或有事件。这使得位图非常适合表示开关状态、在线/离线状态、事件发生/未发生等情况。

2. 位操作的用途

Redis提供了多种位操作命令,例如SETBITGETBITBITOP等,用于对位图进行操作。

  • 使用SETBIT可以设置特定位置的位的值,表示设备状态的改变。这可以用于记录设备状态的变化。
  • 使用GETBIT可以获取指定位置的位的值,用于查询设备状态。
  • 使用BITOP可以进行位操作,如与、或、异或等,以便对多个位图进行复杂的操作。

3. 实时设备状态跟踪

通过将每个设备映射到位图的特定位,您可以实时跟踪设备状态。当设备状态改变时,使用SETBIT命令来更新相应的位,这样您可以随时查询设备状态。

SETBIT device_status_bitmap 1231 1  # 将设备1231的状态设置为1(开启)

4. 设备状态统计

您可以使用位操作命令来执行设备状态的统计操作。例如,使用BITCOUNT命令来计算特定时间段内设备状态为1(开启)的设备数量。

BITCOUNT device_status_bitmap

5. 历史状态记录

通过定期保存位图的快照,您可以记录设备状态的历史。这对于分析设备状态的趋势和历史非常有用。您可以使用SAVEBGSAVE命令来持久化位图。

6. 清除旧状态

您可以使用DEL命令来清除不再需要的设备状态数据,以保持位图的大小可控。

7. 应用场景

Redis位图和位操作适用于各种应用场景,包括实时设备状态监控、用户在线状态跟踪、事件发生记录、设备故障检测等。

Redis位图和位操作是高性能的、内存高效的工具,非常适合用于设备状态的实时跟踪和统计。通过灵活使用这些功能,您可以有效地管理和了解设备的状态。

第五:基数统计->唯一计数的奥秘

Redis的HyperLogLog(HLL)数据结构是一种用于估算唯一元素数量的高性能、低内存消耗的方法。HLL非常适用于数据去重和基数统计,允许您估算一个数据集中的唯一元素数量,而不需要存储每个元素的详细信息。以下是对Redis HyperLogLog的详细讲解:

1. HyperLogLog基本原理

  • HyperLogLog使用概率统计方法,通过观察数据中的一部分元素来估算唯一元素的数量。它基于一种概率分布算法,能够在占用很少内存的情况下提供接近准确的估算。
  • HLL使用一个位数组(BitArray),每个位代表一个桶。位数组的大小可以根据需要进行调整,决定了HLL的准确性和内存占用。
  • 每次向HLL中添加元素时,HLL会计算该元素的哈希值,然后根据哈希值的二进制表示找到在位数组中的位置,并将位数组中的相应位设置为1。这就允许HLL记录每个元素的存在。

2. 估算唯一元素数量

  • HLL提供了PFADD命令来添加元素到HLL,以及PFCOUNT命令来估算HLL中的唯一元素数量。
PFADD myhll element1 element2 element3
PFCOUNT myhll  # 估算唯一元素的数量

3. 结合多个HLL

  • HLL支持使用PFMERGE命令将多个HLL结合在一起,以便合并多个数据集的唯一元素统计。
PFMERGE result_hll myhll1 myhll2 myhll3
PFCOUNT result_hll  # 估算合并后的唯一元素数量

4. 适用场景

  • HLL适用于需要估算唯一元素数量的场景,如数据去重、用户统计、热词统计、网站UV统计等。由于其内存效率和准确性,HLL在大数据集的情况下非常有用。

5. 准确性和内存消耗的权衡

  • HLL的准确性和内存消耗之间存在权衡关系。您可以通过调整位数组的大小来平衡准确性和内存占用。较小的位数组会消耗较少内存,但准确性较低;较大的位数组则提供更准确的估算,但占用更多内存。

Redis的HyperLogLog数据结构是一种出色的工具,可用于高效地估算唯一元素数量,适用于各种数据去重和基数统计的应用。在处理大规模数据时,它提供了内存效率和高性能。

第六:应用建议

以下是一些应用建议,以帮助读者更好地利用Redis集合统计功能:

1. 用户统计:

使用Redis集合统计功能来跟踪用户行为,如用户的点赞、收藏、评论等操作。每个用户的行为可以表示为一个集合,通过集合的交集、并集和差集操作,您可以轻松获取各种用户统计信息,如共同点赞的用户、共同收藏的用户等。

2. 热门内容统计:

对于网站或应用的热门内容,您可以使用Redis集合来记录每个内容的访问者。通过跟踪访问者的集合,您可以实时了解哪些内容最受欢迎,并相应地调整推荐策略。

3. 用户在线状态跟踪:

使用Redis集合来记录用户的在线状态。每个在线用户可以表示为集合的成员,您可以定期检查在线用户的数量,以了解当前在线用户数,或者查找特定用户是否在线。

4. 事件统计:

对于事件或活动的统计,Redis集合非常有用。例如,您可以使用集合来记录参加活动的用户,以及哪些用户参加了多个活动。这对于分析用户参与度和互动性非常有帮助。

5. 社交网络分析:

在社交网络应用中,您可以使用Redis集合来构建关注者和粉丝关系。通过集合的交集和并集操作,您可以查找共同关注的用户、共同粉丝等信息。

6. 网站UV统计:

使用Redis集合来记录网站的独立访客(UV)。每个访客可以表示为集合的成员,您可以使用集合的基数统计功能来估算UV数量。

7. 数据去重:

Redis集合可以用于数据去重,确保存储的数据不包含重复项。这对于日志记录、事件记录等情况非常有用。

8. 多集合操作:

在需要执行多集合操作时,如查找多个集合的交集或并集,可以使用Redis的SINTERSUNION等命令,这些命令可以帮助您快速获得所需的结果。

9. 性能优化:

为了保持性能,确保集合不会过大,适时清除不再需要的数据。另外,根据实际需求合理选择集合的数据结构,如有序集合(Sorted Set)或普通集合(Set)。

10. 数据持久化:

如果需要长期存储集合数据,考虑使用Redis的持久化机制,如RDB快照或AOF日志,以确保数据不会丢失。

通过合理地应用Redis集合统计功能,您可以在各种应用中获得有价值的统计信息,从而更好地了解用户行为、数据趋势和互动模式。 Redis的集合功能为这些应用提供了高效的解决方案。

相关文章
|
5月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
5月前
|
数据采集 存储 NoSQL
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
基于Scrapy-Redis的分布式景点数据爬取与热力图生成
324 67
|
4月前
|
NoSQL Linux Redis
每天百万访问也不怕,Redis帮你搞定UV统计
本文介绍了使用Redis实现高性能UV统计系统的方法。Redis凭借其内存数据库特性,支持毫秒级响应和自动去重,非常适合高并发场景下的访客统计。核心思路是利用Redis的Set数据结构作为"每日签到墙",通过记录用户访问ID实现自动去重,并设置24小时过期时间。文章提供了Python代码示例,展示如何记录用户访问和获取当日UV统计数据,还可扩展实现多页面UV统计。相比传统数据库方案,Redis方案更加轻量高效,是中小型网站实现流量统计的理想选择。
268 0
|
4月前
|
存储 缓存 NoSQL
告别数据僵尸!Redis实现自动清理过期键值对
在数据激增的时代,Redis如同内存管理的智能管家,支持键值对的自动过期功能,实现“数据保鲜”。通过`EXPIRE`设定生命倒计时、`TTL`查询剩余时间,结合惰性删除与定期清理策略,Redis高效维护内存秩序。本文以Python实战演示其过期机制,并提供最佳实践指南,助你掌握数据生命周期管理的艺术,让数据优雅退场。
271 0
|
7月前
|
存储 NoSQL 算法
Redis分片集群中数据是怎么存储和读取的 ?
Redis集群采用的算法是哈希槽分区算法。Redis集群中有16384个哈希槽(槽的范围是 0 -16383,哈希槽),将不同的哈希槽分布在不同的Redis节点上面进行管理,也就是说每个Redis节点只负责一部分的哈希槽。在对数据进行操作的时候,集群会对使用CRC16算法对key进行计算并对16384取模(slot = CRC16(key)%16383),得到的结果就是 Key-Value 所放入的槽,通过这个值,去找到对应的槽所对应的Redis节点,然后直接到这个对应的节点上进行存取操作
|
7月前
|
缓存 NoSQL 关系型数据库
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
|
7月前
|
NoSQL Redis
Redis的数据淘汰策略有哪些 ?
Redis 提供 8 种数据淘汰策略: 淘汰易失数据(具有过期时间的数据) 1. volatile-lru(least recently used):从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰 2. volatile-lfu(least frequently used):从已设置过期时间的数据集(server.db[i].expires)中挑选最不经常使用的数据淘汰 3. volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰 4. volatile-random:从已设置过期
|
7月前
|
NoSQL Redis
Redis的数据持久化策略有哪些 ?
Redis 提供了两种方式,实现数据的持久化到硬盘。 1. RDB 持久化(全量),是指在指定的时间间隔内将内存中的数据集快照写入磁盘。 2. AOF持久化(增量),以日志的形式记录服务器所处理的每一个写、删除操作 RDB和AOF一起使用, 在Redis4.0版本支持混合持久化方式 ( 设置 aof-use-rdb-preamble yes )
|
7月前
|
存储 NoSQL Redis
Redis的数据过期策略有哪些 ?
1. 惰性删除 :只会在取出 key 的时候才对数据进行过期检查。这样对 CPU 最友好,但是可能会造成太多过期 key 没有被删除。数据到达过期时间,不做处理。等下次访问该数据时,我们需要判断 a. 如果未过期,返回数据 b. 发现已过期,删除,返回nil 2. 定期删除 : 每隔一段时间抽取一批 key 执行删除过期 key 操作。并且,Redis 底层会通过限制删除操作执行的时长和频率来减少删除操作对 CPU 时间的影响。默认情况下 Redis 定期检查的频率是每秒扫描 10 次,用于定期清除过期键。当然此值还可以通过配置文件进行设置,在 redis.conf 中修改配置“hz”
|
10月前
|
缓存 NoSQL Redis
Redis经典问题:数据并发竞争
数据并发竞争是大流量系统(如火车票系统、微博平台)中常见的问题,可能导致用户体验下降甚至系统崩溃。本文介绍了两种解决方案:1) 加写回操作加互斥锁,查询失败快速返回默认值;2) 保持多个缓存备份,减少并发竞争概率。通过实践案例展示,成功提高了系统的稳定性和性能。

热门文章

最新文章