Redis牛逼!轻松实现实时订阅推送

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的。先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了。。。

前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的。


先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了。。。


image.png


其中有一个功能叫做领劵的订阅推送。什么是领劵的订阅推送?就是用户订阅了该劵的推送,在可领取前的一分钟就要把提醒信息推送到用户的app中。


本来这个订阅功能应该是消息中心那边做的,但他们说这个短时间内做不了。所以让我这个负责优惠劵的做了-.-!。


具体方案就是到具体的推送时间点了,coupon系统调用消息中心的推送接口,把信息推送出去。


下面我们分析一下这个功能的业务情景。


公司目前注册用户6000W+,如果有一张无门槛的优惠劵下单立减20元,那么抢这张劵的人就会比较多,我们保守估计10W+。


我们初定为20W万人,那么这20W条推送信息要在一分钟推送完成!并且一个用户是可以订阅多张劵的。


所以我们知道了这个订阅功能的有两个突出的难点:


1、推送的实效性:推送慢了,用户会抱怨没有及时通知他们错过了开抢时机。


2、推送的体量大:爆款的神劵,人人都想抢!


然而推送体量又会影响到推送的实效性。这真是一个让人头疼的问题!


那就让我们把问题一个个解决掉吧!**!**!


推送的实效性的问题:当用户在领劵中心订阅了某个劵的领取提醒后,在后台就会生成一条用户的订阅提醒记录,里面记录了在哪个时间点给用户发送推送信息。


所以问题就变成了系统如何快速实时选出哪些要推送的记录!


方案1:MQ的延迟投递。推荐:MQ  到底有啥用?MQ虽然支持消息的延迟投递但尺度太大1s 5s 10s 30s 1m,用来做精确时间点投递不行!并且用户执行订阅之后又取消订阅的话,要把发出去的MQ消息delete掉这个操作有点头大,短时间内难以落地!并且用户可以取消之后再订阅,这又涉及到去重的问题。所以MQ的方案否掉。


方案2:传统定时任务。这个相对来说就简单一点,用定时任务是去db里面load用户的订阅提醒记录,从中选出当前可以推送的记录。但有句话说得好任何脱离实际业务的设计都是耍流氓~。下面我们就分析一下传统的定时任务到底适不适合我们的这个业务!


能否支持多机同时跑


一般不能,同一时刻只能单机跑


存储数据源


一般是mysql或者其它传统数据库,并且是单表存储


频率


支持秒、分、时、天,一般不能太快


综上所述我们就知道了一般传统的定时任务存在以下缺点:


1、性能瓶颈。只有一台机在处理,在大体量数据面前力不从心!


2、实效性差。定时任务的频率不能太高,太高会业务数据库造成很大的压力!


3、单点故障。万一跑的那台机挂了,那整个业务不可用了-。- 这是一个很可怕的事情!


所以传统定时任务也不太适合这个业务。。。


那我们是不是就束手无策了呢?**其实不是的! 我们只要对传统的定时任务做一个简单的改造!就可以把它变成可以同时多机跑,并且实效性可以精确到秒级,并且拒绝单点故障的定时任务集群!这其中就要借助我们的强大的redis了。**


推荐:史上最全 Redis 高可用解决方案总结


更多可以关注微信公众号:Java技术栈,在后台回复:redis,可以获取我整理的 N 篇最新 Redis 教程,都是干货。


方案3:定时任务集群


首先我们要定义定时任务集群要解决的三个问题:


1、实效性要高


2、吞吐量要大


3、服务要稳定,不能有单点故障


下面是整个定时任务集群的架构图。


image.png


架构很简单:我们把用户的订阅推送记录存储到redis集群的sortedSet队列里面,并且以提醒用户提醒时间戳作为score值,然后在我们每个业务server里面起一个定时器频率是秒级,我的设定就是1s,然后经过负载均衡之后从某个队列里面获取要推送的用户记录进行推送。下面我们分析一下这个架构


1、性能:除去带宽等其它因素,基本与机器数成线性相关。机器数量越多吞吐量越大,机器数量少时相对的吞吐量就减少。


2、实效性:提高到了秒级,效果还可以接受。


3、单点故障?不存在的!除非redis集群或者所有server全挂了。。。。


这里解析一下为什么用redis?


1、redis 可以作为一个高性能的存储db,性能要比MySQL好很多,并且支持持久化,稳定性好。为什么分布式一定要Redis? 值得一读。


2、redis SortedSet队列天然支持以时间作为条件排序,完美满足我们选出要推送的记录。


ok~既然方案已经有了那如何在一天时间内把这个方案落地呢?是的我设计出这个方案到基本编码完成,时间就是一天。。。


首先我们以user_id作为key,然后mod队列数hash到redis SortedSet队列里面。为什么要这样呢,因为如果用户同时订阅了两张劵并且推送时间很近,这样的两条推送就可以合并成一条~,并且这样hash也相对均匀。下面是部分代码的截图:


image.png


然后要决定队列的数量,一般正常来说我们有多少台处理的服务器就定义多少条队列。因为队列太少,会造成队列竞争,太多可能会导致记录得不到及时处理。


然而最佳实践是队列数量应该是可动态配置化的,因为线上的集群机器数是会经常变的。大促的时候我们会加机器是不是,并且业务量增长了,机器数也是会增加是不是~。所以我是借用了淘宝的diamond进行队列数的动态配置。


image.png


我们每次从队列里面取多少条记录也是可以动态配置的


image.png


这样就可以随时根据实际的生产情况调整整个集群的吞吐量, 所以我们的定时任务集群还是具有一个特性就是支持动态调整。


最后一个关键组件就是负载均衡了。这个是非常重要的!因为这个做得不好就会可能导致多台机竞争同时处理一个队列,影响整个集群的效率!


在时间很紧的情况下我就用了一个简单实用的利用redis一个自增key 然后 mod 队列数量算法。这样就很大程度上就保证不会有两台机器同时去竞争一条队列~.


image.png


最后我们算一下整个集群的吞吐量


10(机器数) * 2000(一次拉取数) = 20000。然后以MQ的形式把消息推送到消息中心,发MQ是异步的,算上其它处理0.5s。


其实发送20W的推送也就是10几s的事情。


ok~ 到这里我们整个定时任务集群就差不多基本落地好了。如果你问我后面还有什么可以完善的话那就是:


1、加监控, 集群怎么可以木有监控呢,万一出问题有任务堆积怎么办~


2、加上可视化界面。


3、最好有智能调度,增加任务优先级。优先级高的任务先运行嘛。


4、资源调度,万一机器数量不够,力不从心,优先保证重要任务执行。


目前项目已上前线,运行平稳~



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
3月前
|
消息中间件 NoSQL PHP
Laravel实现redis发布-订阅
Laravel实现redis发布-订阅
26 0
|
NoSQL Redis
Redis学习4:List数据类型、拓展操作、实现日志等
注意点:对存储空间的顺序进行分析!
Redis学习4:List数据类型、拓展操作、实现日志等
|
存储 NoSQL Redis
Redis学习3:hash类型操作、拓展操作、实现购物等
首先可以理解成一个redis里面有一个小的redis。同时要注意引入了一个field的名字。
Redis学习3:hash类型操作、拓展操作、实现购物等
|
缓存 NoSQL 安全
2021年你还不会Shiro?----10.使用redis实现Shiro的缓存
上一篇文章已经总结了使用ehCache来实现Shiro的缓存管理,步骤也很简单,引入依赖后,直接开启Realm的缓存管理器即可。如果使用Redis来实现缓存管理其实也是一样的,我们也是需要引入redis的依赖,然后开启缓存传入自定义的redis的缓存管理器就行。区别是我们需要为自定义的redis缓存管理器提供自定义的缓存管理类。这个缓存管理类中需要使用到redisTemplate模板,这个模板我们也是需要自己定义。
232 0
2021年你还不会Shiro?----10.使用redis实现Shiro的缓存
|
NoSQL Java 关系型数据库
浅谈Redis实现分布式锁
浅谈Redis实现分布式锁
|
存储 NoSQL 关系型数据库
「Redis」事务实现机制
Redis事务实现机制
304 0
|
消息中间件 设计模式 NoSQL
异步结果通知实现——基于Redis实现,我这操作很可以
前段时间,我在内存中实现了一个简单异步通知框架。但由于没有持久化功能,应用重启就会导致数据丢失,且不支持分布式和集群。今天这篇笔记,引入了 Redis 来解决这些问题,以下是几点理由: 数据结构丰富,支持 List、Sorted Set 等 具有持久化功能,消息的可靠性能得到保证 高可用性,支持单机、主从、集群部署 项目中已使用,接入成本更低 基于 Redis 实现延时队列也有几种方法,展开详细讲讲。
|
NoSQL 前端开发 PHP
thinkphp+redis实现秒杀功能
thinkphp+redis实现秒杀功能
186 0
thinkphp+redis实现秒杀功能
|
NoSQL PHP Redis
PHP结合redis实现点赞功能
PHP结合redis实现点赞功能
107 0
|
缓存 移动开发 NoSQL
php结合redis实现高并发下的抢购、秒杀功能的实例
php结合redis实现高并发下的抢购、秒杀功能的实例
214 0

热门文章

最新文章