Feed流系统设计(二):推还是拉?三种数据分发策略的取舍

简介: Feed流系统设计(二):推还是拉?三种数据分发策略的取舍

写在前面

上一篇聊了Feed流的基本概念和分类,从这一篇开始我们进入正题——架构设计。

Feed流系统架构中最核心的决策是什么?不是选什么数据库,不是用什么缓存,而是数据分发策略的选择。简单来说就是:用户A发了条消息,怎么让他的粉丝看到?是主动推过去,还是等粉丝自己来拉,还是两者结合?

这个决策几乎影响了系统设计的方方面面——存储结构、分页方式、性能瓶颈、扩展性,全都跟它挂钩。所以这一篇我们重点把这个事情讲透。

1. Feed流系统面临的挑战

在讨论具体方案之前,先明确一下Feed流系统到底要解决哪些问题。只有理解了挑战,才能评估各种方案的优劣。

实时性要求高。 Feed是实时消息,从产生到消费到推送,整个链路要尽可能快。用户发了条动态,粉丝刷新页面应该立刻能看到。这个"实时"不一定要求毫秒级,但秒级或者秒级以内是基本要求。

数据量巨大。 消息来源多样且数量庞大。一个大V发一条微博,可能要分发给上千万粉丝。每天产生的消息总量可能是亿级别的。这对存储系统提出了很高的要求。

读写严重失衡。 前面提到过,Feed流是典型的读多写少场景,读写比通常在10:1以上。这意味着系统在架构上要明显偏向读优化。

数据一致性不能丢。 消息发布出去后,必须保证所有关注者都能感知到。可以接受短暂延迟(最终一致性),但不能出现消息丢失。想象一下你发了条朋友圈,结果一半朋友看到了一半没看到,这在产品上是不可接受的。

这四个挑战是所有Feed流系统都要面对的,不同的分发策略就是在这些挑战之间做取舍。

2. 三种数据分发策略

2.1 读扩散(拉模式)

读扩散的思路很简单:用户查看Feed流的时候,系统实时去拉取他关注的所有人的最新消息,然后合并排序返回。

具体流程是这样的:

用户请求Feed流
  -> 获取用户的关注列表
  -> 遍历关注列表,从每个人的发件箱中拉取最新消息
  -> 合并所有消息,按时间排序
  -> 返回给用户

这种方式的好处是写入成本极低。用户发消息的时候,只需要写入自己的发件箱就行了,不需要管粉丝的事。不管你有100个粉丝还是1亿个粉丝,写入的开销都是一样的。

但问题也很明显——读取成本太高了。假设一个用户关注了200个人,那他每次刷新Feed流都要去拉取200个发件箱的数据,然后合并排序。如果这200个人里有些是大V,发件箱数据量很大,那这个读取延迟会非常感人。

而且还有一个分页的问题。用户往下翻页的时候,需要记住每个关注人拉到了哪个位置(write_last_id),翻页逻辑会变得非常复杂。这个后面讲分页的时候再详细展开。

读扩散适合什么场景?粉丝数量特别多的大V用户。因为大V的粉丝太多了,写扩散的成本太高,不如让粉丝自己来拉。

2.2 写扩散(推模式)

写扩散是读扩散的反面:用户发消息的时候,系统主动把消息推送到所有粉丝的收件箱中。粉丝查看Feed流的时候,直接从自己的收件箱读取就行了。

用户发布消息
  -> 消息写入发件箱
  -> 获取粉丝列表
  -> 将消息ID写入每个粉丝的收件箱
  -> 完成

用户请求Feed流
  -> 直接从自己的收件箱读取
  -> 返回

写扩散最大的优势就是读取性能极好。粉丝打开Feed流的时候,数据已经准备好了,直接从收件箱里取就行,不需要任何实时计算。分页也简单,收件箱里的数据本身就是排好序的。

但缺点也来了——写入压力大。一个普通用户有几百个粉丝还好,但如果是一个有5000万粉丝的大V呢?他每发一条消息,就要往5000万个收件箱里写数据。这个写入量是非常恐怖的。

写扩散适合什么场景?普通用户。大部分用户的粉丝数量在几百到几千之间,写扩散的开销完全可以接受,而且读取体验最好。

2.3 读写结合(推拉结合)

既然读扩散和写扩散各有优劣,那能不能结合起来用?

答案是当然可以,而且这也是业界最常用的方案。思路很简单:普通用户用写扩散,大V用户用读写结合。

具体来说,当大V发布消息的时候:

  • 热粉丝(活跃用户):写扩散,消息主动推送到他们的收件箱
  • 冷粉丝(不活跃用户):不推送,等他们上线查看Feed流的时候再通过读扩散去拉取

这样既保证了大V的热粉丝能实时看到新内容,又避免了向海量冷粉丝写扩散带来的性能压力。

判断一个用户是"热粉丝"还是"冷粉丝",常见的做法有几种:

  • 根据登录频率,比如最近7天登录过就算热粉丝
  • 根据在线状态,当前在线的用户算热粉丝
  • 根据互动行为,最近有过点赞、评论等行为的算热粉丝
// 消息发布时的分发逻辑
public void publishMessage(User publisher, Message message) {
   
    // 1. 保存消息到发件箱
    messageRepository.saveToOutbox(publisher.getId(), message);

    // 2. 判断是否为大V用户
    if (isInfluencer(publisher)) {
   
        // 大V:只向活跃粉丝写扩散
        List<User> activeFollowers = followerService.getActiveFollowers(publisher.getId());
        for (User follower : activeFollowers) {
   
            inboxService.addMessage(follower.getId(), message.getId(), publisher.getId());
        }
    } else {
   
        // 普通用户:向所有粉丝写扩散
        List<User> allFollowers = followerService.getAllFollowers(publisher.getId());
        for (User follower : allFollowers) {
   
            inboxService.addMessage(follower.getId(), message.getId(), publisher.getId());
        }
    }
}

那"大V"的判断标准是什么?这个没有绝对的标准,要根据业务场景来定。一般来说,粉丝数量超过某个阈值(比如10万)就可以算大V了。也可以结合认证状态、内容质量等维度综合判断。

public boolean isInfluencer(User user) {
   
    // 基于粉丝数量判断,阈值可以根据业务调整
    return user.getFollowersCount() > INFLUENCER_THRESHOLD;
}

3. 三种方案的对比

把三种方案放在一起对比一下:

维度 读扩散 写扩散 读写结合
写入成本 高(大V场景极高) 中等
读取成本 低(热粉丝)/ 高(冷粉丝)
读取延迟 高(实时计算) 低(数据已就绪) 中等
分页复杂度 中等
适用场景 大V用户 普通用户 大V + 普通用户混合

由于Feed流是读多写少的场景,大部分情况下写扩散是更好的选择。因为读操作远多于写操作,优化读性能带来的收益更大。只有当出现粉丝量级特别大的大V用户时,才需要引入读写结合来平衡写入压力。

4. 整体架构概览

确定了分发策略之后,我们可以看一下整体架构。下面这张图描述了一个典型的Feed流系统的核心组件和数据流向:

Feed流系统架构

整个系统主要由以下几个核心组件构成:

消息发布服务。 处理用户发布的消息,将消息持久化到数据库,然后根据发布者的类型(普通用户/大V)选择合适的分发策略,将消息同步到粉丝的收件箱中。

消息存储服务。 管理消息内容和用户关系数据。消息内容存储在数据库中(发件箱),用户关系数据也需要持久化存储。

Feed流查询服务。 提供Feed流的查询接口。对于活跃用户,直接从收件箱读取;对于非活跃用户,还需要额外从关注的大V发件箱中拉取数据。

缓存层。 主要用Redis来实现。用户的收件箱用Redis的Sorted Set存储,提供高效的时间排序和分页能力。用户关系、活跃用户列表等热点数据也会缓存在Redis中。

消息队列。 用于解耦消息的发布和处理流程。用户发布的消息先进入消息队列,然后由后台消费者异步处理分发逻辑。这样做的好处是:一是提升系统的响应速度,用户不需要等待分发完成就能得到响应;二是削峰填谷,应对突发流量;三是失败可以重试,提高可靠性。

这些组件协同工作,构成了一个完整的Feed流系统。后面的文章会逐一深入每个组件的设计细节。

一个容易忽略的问题:消息修改和删除

在讨论分发策略的时候,大家往往只关注"发布"这个场景,但很容易忽略"修改"和"删除"。

写扩散模式下,消息发布出去后,每个粉丝的收件箱里都有这条消息的引用。如果发布者修改或删除了这条消息,怎么办?

最直观的做法是:修改或删除的时候,也做一次扩散,把变更同步到所有粉丝的收件箱。但这样做有两个问题:

  • 和发布一样,大V场景下扩散成本太高
  • 用户在修改/删除的扩散完成之前,看到的还是旧数据,存在时效性问题

更好的做法是:不扩散修改和删除,而是通过读取时的回查来实现

具体来说,收件箱里存的不是完整的消息内容,而是消息ID。用户读取Feed流的时候,先拿到消息ID列表,然后回查数据库获取最新的消息内容。如果消息被修改了,回查时自然拿到的是最新版本;如果消息被删除了,回查时标记为已删除状态,过滤掉就行。

这种方式的好处是:修改和删除完全不需要扩散,零成本。代价是每次读取都要多一次回查操作,但这个开销是完全可以接受的。

这就是所谓的"软删除 + 懒删除"机制,下一篇讲数据模型的时候会详细展开。

6. 小结

这一篇重点聊了Feed流系统的三种数据分发策略。读扩散写入成本低但读取成本高,写扩散读取成本低但写入成本高,读写结合则是在两者之间取一个平衡。

对于大多数Feed流系统来说,推荐的方案是:以写扩散为主,对大V用户引入读写结合。这样既能保证大部分用户的读取体验,又能应对大V场景下的写入压力。

还有一个关键的设计原则:收件箱只存消息ID,不存完整内容。这样修改和删除就不需要扩散,通过读取时回查就能搞定。

下一篇我们会聊数据模型和存储设计——消息表怎么建、关注关系表怎么设计、收件箱用Redis怎么存。这些是整个系统的地基,地基打好了,后面的实现才会稳。

目录
相关文章
|
4天前
|
人工智能 自然语言处理 文字识别
阿里云百炼Qwen3.7-Max简介:能力、优势、支持订阅计划参考
Qwen3.7-Max是阿里云百炼面向智能体时代推出的新一代旗舰模型,对标GPT-5.5、Claude Opus 4.7等闭源旗舰。该模型支持百万级token上下文窗口,具备顶级推理能力、多模态搜索与视觉理解增强、流式输出低延迟响应等核心优势,覆盖编程、办公、长周期自主执行等复杂场景。同时支持OpenAI接口兼容,便于系统快速迁移。用户可通过Token Plan团队或节省计划等订阅方式灵活调用,适合企业级高要求场景使用。
8273 37
阿里云百炼Qwen3.7-Max简介:能力、优势、支持订阅计划参考
|
4天前
|
人工智能 运维 JavaScript
阿里云Qoder CN(原通义灵码)全解析 产品形态、版本划分与技术适配说明
在AI辅助开发与智能办公工具持续普及的当下,阿里云旗下原通义灵码正式更名为Qoder CN,同时延伸出QoderWork CN、Qoder CN CLI、Qoder CN Mobile等多款配套产品,形成覆盖代码开发、日常办公、终端交互、移动端使用的完整工具矩阵。Qoder CN核心定位为AI智能编码助手,深度适配主流代码编辑器、集成开发环境以及终端场景;QoderWork CN则偏向桌面端综合办公辅助,二者面向不同使用场景,划分了多个版本档位,搭配差异化资源配额、功能权限与计费规则,同时兼容多款主流大模型。
566 4
|
4天前
|
JavaScript 定位技术 API
CodeGraph 爆火:编程 Agent 需要的不是更多上下文,而是一张提前画好的代码地图
CodeGraph 是一款爆火的本地代码智能工具,通过 tree-sitter 解析 AST 构建结构化知识图谱(存于 SQLite),为编程 Agent 提前生成“代码地图”。它显著降低 Agent 在中大型项目中的探索成本——实测工具调用减少71%、Token 降57%、速度提升46%,支持19+语言及主流框架路由识别,完全离线、无需 API Key。
539 3
CodeGraph 爆火:编程 Agent 需要的不是更多上下文,而是一张提前画好的代码地图
|
3天前
|
缓存 测试技术 API
Qwen 3.7 Plus 与 Max 实测:性价比与多模态能力差异解析(2026)
2026 年 6 月 1 日,阿里悄无声息地发布了 Qwen 3.7 Plus,距 Qwen 3.7 Max 上线刚好 11 天。同样的 1M 上下文,同样的 35 小时自治上限。但价格才是头条:Plus 是 0.40/M输入,Max是 2.50/M——便宜约 6 倍——并且还能看图、看视频。Vision Arena 上 Plus 已经排到 #16。所以这周真正值得讨论的问题不是”要不要为视觉能力买单”,而是”Max 凭什么用 6 倍价格换来 2 个百分点的 benchmark 领先”。
|
4天前
|
数据采集 人工智能 前端开发
让 Coding Agent 从黑盒到透明:阿里云 Agent 观测审计数据采集实践
AI Agent 规模化落地带来执行黑盒、行为难追溯、成本难度量三大难题。阿里云基于 OTel 标准,面向 Coding Agent、个人通用助理和框架型 Agent,推出 LoongSuite Pilot、插件及探针等无侵入采集方案,让 Agent 实现可看见、可分析、可审计、可治理。
690 148
|
4天前
|
人工智能 缓存 自然语言处理
阿里Qwen3.7-Max评测:Agent能力显著提升,耗时与调用成本大幅下降
阿里云百炼推出面向智能体的旗舰大模型Qwen3.7-Max,具备长周期自主执行能力,显著提升编程、办公自动化等复杂任务处理水平;支持MCP集成与多框架兼容,并以限时5折+100万Tokens免费试用大幅降低使用门槛,助力企业高效落地AI应用。在阿里云百炼平台快速体验:https://t.aliyun.com/U/fPVHqY
1926 10
|
4天前
|
存储 安全 Java
AgentScope Java 2.0:打造分布式、企业级智能体底座
AgentScope 2.0 面向分布式部署、稳定运行、权限安全等企业级需求全面升级,打造支持多租户隔离与长期稳定运行的企业级智能体底座。
|
4天前
|
人工智能 安全 定位技术
CodeGraph深度解析 让Claude Code工具调用直降七成的核心原理与实操教程
如今以Claude Code为代表的AI编程智能体已经成为开发者日常编码、项目重构、漏洞修复的必备工具。但在长期使用过程中,几乎所有开发者都会遇到同一个明显痛点:AI虽然具备强大的代码生成与分析能力,却常常陷入盲目探索的循环中。
1325 2
|
4天前
|
人工智能 运维 API
2026年阿里云百炼通义千问Qwen3.7-plus深度介绍 功能特性、使用优势及618大促订阅方案指南
大模型技术的普及,让AI能力逐步融入个人办公、内容创作、代码编写、企业运营、教育培训等各类场景。不同定位的模型对应不同使用需求,旗舰级模型性能强劲但使用成本偏高,轻量化模型价格低廉却难以胜任复杂任务,而介于两者之间的中端主力模型,凭借均衡的能力、亲民的定价、广泛的场景适配性,成为绝大多数个人用户、小型团队、中小企业的首选。
694 1
|
4天前
|
人工智能 弹性计算 运维
阿里云发布堡垒机智能运维Agent,运维交互进入自然语言新时代
支持自然语言运维,提升效率与安全双保障。
1183 1

热门文章

最新文章