每秒30W次的点赞业务,怎么优化?

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 30WQPS的点赞计数业务,如何设计?

image.png

继续答星球水友提问,30WQPS的点赞计数业务,如何设计? 可以看到,这个业务的特点是:(1)吞吐量超高(2)能够接受一定数据不一致画外音:计数有微小不准确,不是大问题。 先用最朴素的思想,只考虑点赞计数,可以怎么做?有几点是最容易想到的:(1)肯定不能数据库抗实时读写流量;(2)redis天然支持固化,可以用高可用redis集群来做固化存储(3)也可以用MySQL来做固化存储redis做缓存,读写操作都落缓存,异步线程定期刷DB(4)架一层计数服务,将计数与业务逻辑解耦; 此时MySQL核心数据结构是:

t_count(msg_id, praise_count)

  此时redis的KV设计也不难:

key:msg_id

value:praise_count
image.png

似乎很容易就搞定了:(1)服务可以水平扩展;(2)数据量增加时,数据库可以水平扩展;(3)读写量增加时,缓存也可以水平扩展; 计数系统的难点,还在于业务扩展性问题,以及效率问题。 以微博为例:
image.png

(1)用户微博首页,有多条消息list<msg_id>,这是一种扩展(2)同一条消息msg_id,不止有点赞计数,还有阅读计数,转发计数,评论计数,这也是一种扩展 假如用最朴素的方式实现,多条消息多个计数的获取伪代码如下:

// (1)获取首页所有消息msg_id

list<msg_id> = getHomePageMsg(uid);

// (2)对于首页的所有消息要拉取多个计数

for( msg_id in list<msg_id>){

         //(3.1)获取阅读计数

         getReadCount(msg_id); 

         //(3.2)获取转发计数

         getForwordCount(msg_id);

         //(3.3)获取评论计数

         getCommentCount(msg_id);

         //(3.4)获取赞计数

         getPraiseCount(msg_id);

}

  由于同一个msg_id多了几种业务计数, redis的key需要带上业务flag ,升级为:

msg_id:read

msg_id:forword

msg_id:comment

msg_id:praise

用来区分共一个msg_id的四种不同业务计数,redis不能支持key的模糊操作,必须访问四次reids。   假设首页有100条消息,这个方案总结为: (1)for循环每一条消息,100条消息100次; (2)每条消息4次RPC获取计数接口调用; (3)每次调用服务要访问reids,拼装key获取count; 画外音:这种方案的扩展性和效率是非常低的。   那如何进行优化呢?   首先看下数据库层面元数据扩展,常见的扩展方式是, 增加列 ,记录更多的业务计数。
image.png

如上图所示,由一列点赞计数,扩充为四列阅读、转发、评论、点赞计数。

  增加列这种业务计数扩展方式的缺点是: 每次要扩充业务计数时,总是需要修改表结构 ,增加列,很烦。   有没有不需要变更表结构的扩展方式呢? 行扩展 是一种扩展性更好的方式。
image.png

表结构固化为:

t_count(msg_id, count_key, count_value)

当要扩充业务计数时,增加一行就行,不需要修改表结构。 画外音:很多配置业务,会使用这种方案,方便增加配置。   增加行这种业务计数扩展方式的缺点是: 表数据行数会增加 ,但这不是主要矛盾,数据库水平扩展能很轻松解决数据量大的问题。   接下来看下redis批量获取计数的优化方案。
image.png

原始方案,通过拼装key来区分同一个msg_id的不同业务计数。

  可以升级为,同一个value来存储多个计数。
image.png

如上图所示,

同一个msg_id的四个计数 ,存储在一个value里,从而避免多次redis访问。
画外音:通过value来扩展,是不是很巧妙?   总结 计数业务,在数据量大,并发量大的时候,要考虑的一些技术点: (1)用缓存抗读写; (2)服务化,计数系统与业务系统解耦; (3)水平切分扩展吞吐量、数据量、读写量; (4)要考虑扩展性,数据库层面常见的优化有:列扩展,行扩展两种方式; (5)要考虑批量操作,缓存层面常见的优化有:一个value存储多个业务计数;   计数系统优化先聊到这里,希望大家有收获。

欢迎大家继续提问,有问必答。

本文转自“架构师之路”公众号,58沈剑提供。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
编解码 移动开发 前端开发
【面试题】 给你十万条数据,怎么样顺滑的渲染出来?
【面试题】 给你十万条数据,怎么样顺滑的渲染出来?
|
6月前
|
负载均衡 测试技术
红包雨高并发压测记录(200台机器压测实录)
红包雨高并发压测记录(200台机器压测实录)
|
监控 前端开发 JavaScript
不了解 QPS、TPS、RT、并发数、吞吐量,劝你简历别写熟悉高并发
分布式、微服务、Service Mesh目前都是大家耳熟能详的词语了,现在随便一个互联网公司说出来大家都是在搞微服务。 但我们搞来搞去,怎么样来衡量一个应用当前的状态到底是怎么样的?到底需不需要扩容?是需要横向扩容还是进行项目重构?
|
7月前
|
缓存 NoSQL 架构师
并发量很大?阿里上传在GitHub的亿级流量百万并发手册真的火了!
亿级流量对于电商有什么作用? 对于高并发的场景来说,比如电商类,o2o,门户,等等互联网类的项目,缓存技术是Java项目中最常见的一种应用技术。然而,行业里很多朋友对缓存技术的了解与掌握,仅仅停留在掌握redis/memcached等缓存技术的基础使用,最多了解一些集群相关的知识,大部分人都可以对缓存技术掌握到这个程度。然而,仅仅对缓存相关的技术掌握到这种程度,无论是对于开发复杂的高并发系统,或者是在往Java高级工程师、Java资深工程师、Java架构师这些高阶的职位发展的过程中,都是完全不够用的。技术成长出现瓶颈,在自己公司的项目中,没有任何高并发与高可用的挑战性项目,自己不知道如何成长,
92 0
|
8月前
|
设计模式 架构师 算法
这个时代,达不到百万以上并发量都不叫高并发!!收藏学以致用
成为一名年薪百万的顶尖架构师,实现财富自由,是大多数JAVA高级程序员的职业追求。 这不仅是技术发展的趋势,同时也是个人职业价值的体现。 但最终能否成为IT架构中的「灵魂人物」,做出亿级用户量的产品、搭建承载百万级并发的架构,还要取决于你能不能翻过并发量这道坎。
|
10月前
|
SQL 存储 缓存
大数据量、高并发业务优化教程(一)
大数据量、高并发业务优化教程(一)
248 0
|
安全 网络协议 Shell
高并发服务器的限制有哪些,如何提高并发量
高并发服务器的限制有哪些,如何提高并发量
高并发服务器的限制有哪些,如何提高并发量
|
Web App开发 JavaScript 前端开发
国内第一篇讲如何减少卡顿的代码级别详细文章
国内第一篇讲如何减少卡顿的代码级别详细文章
127 0
国内第一篇讲如何减少卡顿的代码级别详细文章
|
缓存 NoSQL 架构师
并发量很大?阿里上传在GitHub的亿级流量百万并发手册真的火了
对于高并发的场景来说,比如电商类,o2o,门户,等等互联网类的项目,缓存技术是Java项目中最常见的一种应用技术。然而,行业里很多朋友对缓存技术的了解与掌握,仅仅停留在掌握redis/memcached等缓存技术的基础使用,最多了解一些集群相关的知识,大部分人都可以对缓存技术掌握到这个程度。然而,仅仅对缓存相关的技术掌握到这种程度,无论是对于开发复杂的高并发系统,或者是在往Java高级工程师、Java资深工程师、Java架构师这些高阶的职位发展的过程中,都是完全不够用的。技术成长出现瓶颈,在自己公司的项目中,没有任何高并发与高可用的挑战性项目,自己不知道如何成长,自己也不知道如何让自己的技术更
并发量很大?阿里上传在GitHub的亿级流量百万并发手册真的火了
|
SQL 存储 监控
亿级大表分库分表实战总结(万字干货,实战复盘)(二)
亿级大表分库分表实战总结(万字干货,实战复盘)(二)
350 0