阿里云Redis典型场景:如何构建可扩展通用排行榜系统

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,通用型 2核4GB
简介: 本文主要介绍通用排行榜的需求功能,并介绍了基于Redis的ZSET数据结构的排序方法,另外探讨了通用排行榜的架构及用户如何通过阿里云Redis解决通用排行架构的技术问题。

摘要

本文主要介绍通用排行榜的需求功能,并介绍了基于Redis的ZSET数据结构的排序方法,另外探讨了通用排行榜的架构及用户如何通过阿里云Redis解决通用排行架构的技术问题。

背景

移动互联网时代的春风刮来了各种不同的业务场景,直播元年、短视频元年、类微博信息流、各种电商业务也在这个移动互联网快车上集中爆发。在这些业务中信息成为了各种场景的关键,而信息的价值往往隐藏在各种排行中,对于一个直播大V可能关注直播人数的排行榜,因为他希望萃取他家长处;对于一个商家可能关注商品浏览排行榜,因为他希望更好的区做店铺引流;对于一个游戏用户他可能关注自己在某一个群组的排行榜,因为他希望他喜欢的人能关注到他名列前茅。以此我们希望在这个文章中探讨一个基于阿里云Redis的可扩展通用的排行榜系统构建的方法。

排行榜特性

排行榜看起来简单,实际上对于通用的排行榜系统具有很高的复杂度和系统能力要求。排行榜系统首先需要定义数据源,不同数据对于排行榜系统也有不同的能力要求,我们总结了一下排行榜的特点。

排行精确性

如果一个排行榜的结果关系到用户的权益问题,这个时候一个排行榜的精确性就需要非常高,比如一个运营同学进行了根据微博转发数量的营销活动,这个时候微博转发数量的排行榜就需要非常精确,否则会影响用户权益的分发。

排行榜实时性

游戏和社交互动的结合是目前的趋势,对于热门游戏的排行是用户的关注重点,在这部分用户中对于排行的实时性有很高的要求,如果一个用户升级了自己的装备和能力,而自己的排名一直没有更新,那这个用户一定要非常伤心抛弃这个游戏了。所以通过离线计算等平台来构建一个非实时的排行榜系统就不太适合这样的模型。

排行榜功能自定义

在排行系统中有些用户只需要定期对数据进行更新即可,所以我们在排行榜系统中需要提供自定义的功能,让用户可以定义排序的周期,可以按照小时、日、周不同的周期对数据进行处理,用户再进行简单配置之后可以生成对应的排行榜单。

海量数据排行

海量数据是目前的一个趋势,比如对于淘宝全网商品的一个排行,这个榜单将会是一个亿级别的,所以我们设计的榜单也需要具备弹性伸缩能力,同时在对海量数据进行排行的时候拥有一定的实时性。

排行算法

在排行系统中我们选用Redis提供的ZSET作为基础的数据结构,ZSET是一个有序的数据集合,在这个数据集合中用户可以添加不同SCORE值的MEMBER,并且用户可以通过接口对这些有序集合根据SCORE值进行排序。ZSET这样的数据结构可以很方便的用于排行榜系统中。
假设我们需要对一个动物运动会的比赛成绩做一个排序,我们先简单的构造一个ZSET的KEY,并添加每种动物的成绩。Redis命令如下:

$redis-cli -p 10391
# dog的分数为98,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 98 dog
# Redis后端返回添加成功元素个数
(integer) 1
# cat的分数为80,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 80 cat
# Redis后端返回添加成功元素个数
(integer) 1
# rabbit分组为95,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 95 rabbit
# Redis后端返回添加成功元素个数
(integer) 1
# tiger分组为100,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 100 tiger
# Redis后端返回添加成功元素个数
(integer) 1

添加完成每个商家的销售额之后,我们可以调用Redis的zrange命令进行排序获取指定排名的商家,Redis命令如下:

$redis-cli -p 10391
# 通过调用zrevrange命令返回排行榜信息
27.0.0.1:10391> zrevrange rank 0 3 withscores
1) "tiger"
2) "100"
3) "dog"
4) "98"
5) "rabbit"
6) "95"
7) "cat"
8) "80"

如下显示了ZSET相关的命令使用方法

  • ZADD key score1 member1 [score2 member2]
    添加一个或多个成员到有序集合,或者如果它已经存在更新其分数
  • ZCARD key
    得到的有序集合成员的数量
  • ZCOUNT key min max
    计算一个有序集合成员与给定值范围内的分数
  • ZINCRBY key increment member
    在有序集合增加成员的分数
  • ZINTERSTORE destination numkeys key [key …]
    多重交叉排序集合,并存储生成一个新的键有序集合。
  • ZLEXCOUNT key min max
    计算一个给定的字典范围之间的有序集合成员的数量
  • ZRANGE key start stop [WITHSCORES]
    由索引返回一个成员范围的有序集合。
  • ZRANGEBYLEX key min max [LIMIT offset count]
    返回一个成员范围的有序集合(由字典范围)
  • ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT]
    按分数返回一个成员范围的有序集合。
  • ZRANK key member
    确定成员的索引中有序集合
  • ZREM key member [member …]
    从有序集合中删除一个或多个成员
  • ZREMRANGEBYLEX key min max
    删除所有成员在给定的字典范围之间的有序集合
  • ZREMRANGEBYRANK key start stop
    在给定的索引之内删除所有成员的有序集合
  • ZREMRANGEBYSCORE key min max
    在给定的分数之内删除所有成员的有序集合
  • ZREVRANGE key start stop [WITHSCORES]
    返回一个成员范围的有序集合,通过索引,以分数排序,从高分到低分
  • ZREVRANGEBYSCORE key max min [WITHSCORES]
    返回一个成员范围的有序集合,按分数,以分数排序从高分到低分
  • ZREVRANK key member
    确定一个有序集合成员的索引,以分数排序,从高分到低分
  • ZSCORE key member
    获取给定成员相关联的分数在一个有序集合
  • ZUNIONSTORE destination numkeys key [key …]
    添加多个集排序,所得排序集合存储在一个新的键
  • ZSCAN key cursor [MATCH pattern] [COUNT count]
    增量迭代排序元素集和相关的分数

通用排行榜系统架构

对于一个通用性的排行榜系统,我们需要对服务进行Qos保证,为了达到服务分级Qos保证的能力,我们引入MetaQ或者Kafka等组件进行数据的接入,整体系统功能如下。

undefined | center

对于排行榜系统每个系统存在存储和计算两个流程,原始数据的存储可以选择MYSQL进行存储,计算排行阶段选择了阿里云Redis进行排行计算。阿里云Redis具有主从、集群、读写分离、异地多活等形态的产品,我们可以随着业务的变化进行灵活的更改配置。整个排行版的数据流图如下。

image.png | center | 704x332

热点读问题

对于热门排行的榜单可以选用阿里云Redis读写分离来解决单个榜单的读问题。

image.png | center | 388x170

海量榜单问题

对于海量榜单的需求可以选用阿里云Redis的集群版本,阿里云Redis集群版本的容量可以达到TB级别,并且可以轻松扩容,可以按照自愿使用量进行弹性伸缩。

image.png | center | 401x218

单元化问题

对于单元化的榜单,可以选用阿里云Redis的多中心方案,配置一个中心的写入,多个中心的读取,阿里云Redis提供的BLS服务可以轻松搭建两个中心的同步通道。

image.png | center | 611x381

总结

本文主要对基于阿里云Redis的通用排行榜系统的构建进行了探讨,详细介绍了如何利用Redis的ZSET进行常用的数据排行,另外对通用排行榜系统的功能及数据流程进行了探讨,并介绍了不同场景下可以选用的阿里云Redis产品。为了方便用户交流开源和Redis技术我们也建立了Redis交流钉钉群,欢迎有兴趣的同学移步这里加入,另外也欢迎大家使用阿里云Redis服务。对于有兴趣从事云数据库内核或者管控相关工作可以移步这里,欢迎C++/JAVA/GOLANG/PYTHON等各种开发人才加盟。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
11天前
|
存储 消息中间件 缓存
Redis的高性能使得它非常适合用于实时分析场景
【5月更文挑战第15天】Redis在Python Web开发中扮演关键角色,常用于缓存系统,提高数据读取速度;会话管理,存储用户信息;分布式锁,确保数据一致性;排行榜和计数,利用有序集合和哈希结构;消息队列,基于列表结构实现异步处理;实时分析,高效处理实时数据。其丰富的数据结构和高性能使其在多种场景下应用广泛。
286 3
|
1天前
|
NoSQL Java Redis
redis-学习笔记(Jedis 通用命令)
redis-学习笔记(Jedis 通用命令)
12 1
|
1天前
|
存储 NoSQL 关系型数据库
redis-学习笔记(通用命令)
redis-学习笔记(通用命令)
7 0
|
2天前
|
存储 机器学习/深度学习 弹性计算
【阿里云弹性计算】阿里云ECS实例选择指南:理解不同实例系列的适用场景
【5月更文挑战第24天】阿里云ECS实例系列包括计算优化型、内存优化型、存储优化型、GPU加速型和通用型,适用于不同场景。计算优化型适合计算密集型任务,内存优化型适用于内存数据库,存储优化型针对高I/O需求,GPU加速型用于图形处理和深度学习,通用型则平衡各类需求。选择时需考虑应用类型、性能需求、成本效益和可扩展性。提供的示例代码展示了如何使用阿里云CLI创建通用型实例。本文旨在帮助用户根据业务需求选择最适合的ECS实例。
8 1
|
5天前
|
安全 小程序 网络安全
阿里云腾讯云免费SSL证书托管系统的开发初衷
由于Google等公司推动,互联网安全趋势将SSL证书期限统一缩短至3个月,阿里云和腾讯云相继跟进。对于管理多个站点的小公司而言,手动维护变得繁琐。为自动化此过程,作者探索使用API解决方案。通过研究腾讯云API,成功实现证书的自动创建、审核和下载。为应对无免费到期提醒服务,作者创建计划任务,在证书到期前7天发送提醒,初期采用短信提醒,并增设公众号模板消息作为备选方案,完成到期提醒系统的构建。接下来的文章将讨论SSL证书的申请和下载流程。
30 2
|
11天前
|
存储 缓存 安全
阿里云服务器实例规格选型参考,根据上云场景选择适合自己的实例规格
对于很多新手用户来说,在初次选择阿里云服务器实例规格的时候,面对众多实例规格往往不知道如何选择,因为云服务器实例规格不同,价格也不一样,本文通过一些常见的选型场景推荐,便于大家在选择云服务器实例规格时做个参考。
阿里云服务器实例规格选型参考,根据上云场景选择适合自己的实例规格
|
11天前
|
编解码 缓存 安全
阿里云目前活动内各云服务器实例规格适用场景与价格参考
目前阿里云的活动中,云服务器有多种不同实例规格可选,实例规格定义了实例的基本属性:CPU和内存(包括CPU型号、主频等),但是不同实例规格所适用的场景是不一样的,价格也有很大差别,有的用户初次选购阿里云服务器可能并不知道这些实例规格的具体适用场景,下面是小编整理汇总的2024年截止目前阿里云的活动中云服务器实例规格适用场景与活动价格,以供参考。
阿里云目前活动内各云服务器实例规格适用场景与价格参考
|
11天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
11天前
|
NoSQL Redis 数据库
Redis入门到通关之Redis通用命令
Redis入门到通关之Redis通用命令
19 0
|
11天前
|
存储 机器学习/深度学习 网络协议
阿里云企业级ARM计算规格族特点、适用场景及收费标准与活动价格参考
阿里云企业级ARM计算规格族是阿里云继X86计算、异构计算、弹性裸金屈服务器、超级计算集群之后推出的全新架构云服务器,ARM计算规格族有通用型实例规格族g8y、计算型实例规格族c8y、通用型实例规格族g6r等。下面是阿里云企业级ARM计算规格族特点、适用场景及最新收费标准和活动价格参考。
阿里云企业级ARM计算规格族特点、适用场景及收费标准与活动价格参考

相关产品

  • 云数据库 Redis 版