feed流拉取,读扩散,究竟是啥?

简介: 当用户量、数据量、并发量数据逐步增加之后,拉模式会慢慢扛不住了,需要升级优化,但对于“取消关注”与“发布feed”这两个写流程又会有冲击和影响。

任何脱离业务的架构设计都是耍流氓。

哪些产品是feed流典型业务?

答:微博,微信朋友圈,Pinterest是典型的feed流业务,系统中的每一条消息就是一个feed。

这类业务的特点是:

  • 有好友关系,例如关注,粉丝
  • 我们的主页由别人发布的feed组成

这类业务的典型动作是:

  • 关注,取关
  • 发布feed
  • 拉取自己的主页feed流

这类业务的核心元数据是:

关系数据

feed数据

feed流的“拉取”与“推送”实现,是个怎么回事?

答:feed流业务最大的特点是“我们的主页由别人发布的feed组成”,获得朋友圈消息feed流集合,从技术上说,主要有“拉取”与“推送”两种方式。feed流的推与拉主要指的是这里。

今天将简述拉模式(圈内说的较多的是“读扩散”)的核心数据结构,核心流程,优缺点。

例如:某feed系统里有ABCD四个用户,其中:

A关注了BC,D关注了B

image.png

其关系存储又包含关注关系与粉丝关系,“A关注了BC,D关注了B”的潜台词是“B有两个粉丝AD,C有一个粉丝A”。

B发布过四条feed:msg1, msg3, msg5, msg10

C发布过两条feed:msg2, msg8

image.png

每一个用户,都有一个feed队列,记录自己曾经发布的所有feed数据。

在拉模式中,发布一条feed的流程非常简单,例如C新发布了一条msg12:

image.png

此时只需往C的feed队列里加入一条feed即可。

在拉模式中,取消关注的流程也非常简单,例如A取消关注C:

image.png

此时只需要在A的关注列表里删除C,并在C的粉丝列表里删除A即可。

在拉模式中,用户A获取“由别人发布的feed组成的主页”的过程比较复杂,此时需要:

获取A的关注列表

list<gz_uid> = select uid from GZ where uid=A

获取所关注的用户发布的feed

list<msg> = NULL;

for(uid in list<gz_uid>){

         list<some_msg> = 

            select * from F where uid=$uid offset | limit

         list<msg> += list<some_msg>;

}

对消息进行rank排序(假设按照发布时间排序),分页取出对应的一页feeds

sort_msg_by_time(list<msg>);

get_one_page(list<msg>, page_num);

feed流的拉模式(“读扩散”)有什么优缺点?

优点:

  • 存储结构简单,数据存储量较小,关系数据与feed数据都只存一份
  • 取消关注,发布feed的业务流程非常简单
  • 存储结构,业务流程都比较容易理解,非常适合项目早期用户量、数据量、并发量不大时的快速实现

缺点也显而易见:

  • 拉取朋友圈feed流列表的业务流程非常复杂
  • 有多次数据访问,并且要进行大量的内存计算,大量数据的网络传输,性能较低

在拉模式中,系统的瓶颈容易出现在“用户所发布feed列表”的读取上,而每个用户发布feed的频率其实是很低的,此时,架构优化的核心是通过缓存降低数据存储磁盘IO。

当用户量、数据量、并发量数据逐步增加之后,拉模式会慢慢扛不住了,需要升级优化,但对于“取消关注”与“发布feed”这两个写流程又会有冲击和影响,具体架构应该如何迭代,下一章和大家分享 。
架构,不只是设计出来的,更是演进而来的。

目录
相关文章
|
消息中间件 监控 Java
Kafka Producer异步发送消息技巧大揭秘
Kafka Producer异步发送消息技巧大揭秘
1621 0
|
消息中间件 存储 NoSQL
一文读懂Kafka Connect核心概念
Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中,使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统进行离线分析。
|
存储 JSON 前端开发
JSON数组的概念、语法和用法
JSON数组的概念、语法和用法
2436 3
|
存储 Java 大数据
Java代码优化:for、foreach、stream使用法则与性能比较
总结起来,for、foreach和stream各自都有其适用性和优势,在面对不同的情况时,有意识的选择更合适的工具,能帮助我们更好的解决问题。记住,没有哪个方法在所有情况下都是最优的,关键在于理解它们各自的特性和适用场景。
1112 23
|
自然语言处理 算法 Unix
【数据安全】敏感字过滤方案总结
【数据安全】敏感字过滤方案总结
1025 1
|
缓存 监控 负载均衡
系统健康长期“三高”:实现高性能、高可用性和高稳定性的关键要素
大家想必都知道在人类健康领域,我们常常警惕“三高”带来的风险,三高是一个不健康的意思,而在数字化世界中,恰恰相反,系统的高性能、高可用性和高稳定性代表着系统的健康和卓越运行,是一个健康的概念。作为开发者怎么能让我们开发的系统保证长期“三高”,那么本文就来简单讨论一下如何让系统长期维持理想的“三高”标准,以及“三高”在实际业务场景中的真实性,并探索一下在技术负责人角色中使用“三高”来评价系统开发工作的可行性等内容,欢迎大家在评论区留言交流。
1004 1
系统健康长期“三高”:实现高性能、高可用性和高稳定性的关键要素
|
运维 数据可视化 搜索推荐
什么是零代码?零代码与低代码有什么联系与区别?
这篇文章阐述了零代码和低代码开发的概念、优势、区别,以及它们如何服务于不同用户群体,并通过APaaS平台促进快速开发和部署应用程序。
|
JavaScript 前端开发 测试技术
Node.js新手框架推荐
【8月更文挑战第4天】Node.js新手框架推荐
607 3
|
安全 Go 开发者
|
Java API 微服务
Spring Boot中的跨服务调用方法
Spring Boot中的跨服务调用方法

热门文章

最新文章