揭秘千问 APP 千万级 AI 订单背后的记忆存储实践

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 2026年春节,千问 APP “春节请客计划” 9 小时破 1000 万单,依赖 Tablestore 构建的一站式记忆系统:支持短期/长期记忆统一管理、毫秒级读写、Serverless 弹性伸缩、多模态数据融合及原生向量检索,实现数十亿条记忆的高效存储与实时流转。

2026 年春节,千问 APP“春节请客计划”上线 9 小时,订单量突破 1000 万单,“帮我买”指令被调用超 3000 万次。用户点奶茶、送祝福的每一次交互,背后都是一套记忆系统在高速运转——记住用户偏好、关联订单信息、同步配送状态。

流量洪峰之下,基于 Tablestore 的记忆存储系统成为关键支撑:Serverless 弹性伸缩平稳承接百万级QPS,读写延迟稳定在毫秒级,确保用户“说买就买”的即时体验。数十亿条记忆数据实时流转,让千万次请客互动丝滑落地,零卡顿、零遗漏。

没有这套记忆系统,就没有这场全民请客的狂欢。


下面我们展开说说记忆系统如何实现的。

千问 APP 支持日常对话、知识问答、外卖点餐等多种 Agent 场景。

记忆能力对这些场景至关重要——没有记忆的 Agent 每次对话都像初次见面,无法延续上下文、不了解用户偏好、也做不到个性化推荐。有了记忆,Agent 才能在多轮对话中保持连贯,跨会话积累对用户的了解,真正从“能用”变成“好用”。

真正好用的记忆系统,应该具备两种能力:

  • 短期记忆:当前会话的多轮对话上下文、工具调用的中间状态。
  • 长期记忆:从历史对话中提炼出的摘要、用户长期积累的偏好画像(如口味、风格、常用地址),以及用于语义检索的向量嵌入。

为了更“好用”的体验,千问构建了一套一站式记忆存储系统,整体架构分三层:

  • Agent 应用层:对话理解、任务编排、多场景调度等。
  • 记忆管理层:负责记忆的写入、检索、摘要提炼与过期淘汰。
  • 记忆存储层:底层持久化引擎,同时提供高性能读写和向量召回。


Agent 的记忆存储远不止“写进去、读出来”。随着用户规模和场景复杂度增长,挑战接踵而至:

  • 长期记忆自动抽取 —— 短期上下文会过期丢弃,但有价值的信息要自动沉淀为长期记忆。两类记忆的生命周期不同,需要在同一套系统中共存管理。
  • 多模态数据统一管理 —— 记忆数据包括纯文本、结构化属性(JSON)、向量嵌入(用于语义召回),如果每种数据拆一套存储,运维复杂度会很高。
  • 海量低成本持久存储 —— 每个用户的每轮对话都会产生记忆数据,日积月累规模可达数十亿条
  • 毫秒级稳定延迟 —— 记忆读写在每轮对话的关键路径上,延迟直接影响用户体感。而且不能因为数据量变大就劣化,P99 延迟要稳得住。
  • 流量弹性 —— 业务峰谷波动明显,活动期间流量可能瞬间飙升数十倍,存储层需要自动跟随伸缩。


当记忆规模膨胀至数十亿条,数据如何存储、检索、扩展,成了千问必须解决的问题。Tablestore 没有选择“堆砌功能”,而是用一套开箱即用的方案,把记忆管理的复杂流程变成了“自动运转”的简单操作。

让长期记忆自动沉淀

Tablestore 进一步封装了开箱即用的记忆存储解决方案,提供短期/长期记忆统一管理能力,内置了短期记忆到长期记忆的自动抽取流程,开发者无需自行编排,降低业务接入门槛和开发成本。

记忆检索:像查字典一样简单

Tablestore 支持在宽表上直接开通多元索引,无需部署独立的搜索引擎,可以实现通过向量检索召回记忆片段、根据关键词全文检索对话内容以及多条件组合查询等能力。

装下数十亿记忆:“一个库”即可搞定

Tablestore 底层是分布式引擎,存储和计算分离,数据按分区键自动分片。单表可以存储数万亿甚至更高量级的行,不需要手动分库分表。宽表模型本身支持灵活的列定义,文本、结构化属性和向量嵌入可以作为不同列存在同一行中。也就是说,一个用户的短期上下文、长期画像、语义向量可以存在同一张表里,查询时一次读取就能拿到,不需要跨多个系统做 join。这让整体架构保持简洁,也省去了维护额外向量数据库的成本。

数据量再大,延迟也不“掉链子”

对于单行读和单行写操作,Tablestore 的延迟在个位数毫秒级别,这一点不会因为数据量增长到数十亿而明显劣化——因为底层基于 LSM-Tree 存储引擎,数据按主键有序存储、分层压缩,读路径上通过 bloom filter 和 block cache 加速,写路径上顺序追加。对记忆场景来说,最常见的操作就是“根据 user_id + session_id 读写某条记忆”,这正好命中单行读的最优路径。

流量来了自动“撑伞”,流量走了自动“收摊”

Tablestore 是 Serverless 架构,按实际吞吐和存储量计费,不需要预留资源。流量上来的时候自动扩分区、扩资源,流量下去之后自动收缩。千问 APP 推广活动期间,峰值流量飙升数十倍,存储层全程自动弹性承接,业务侧不需要做任何扩容操作。


多业务验证的一站式记忆存储方案

Tablestore 凭借分布式引擎、原生向量检索、Serverless 弹性和全托管免运维的组合优势,是 Agent 记忆场景的理想底座,在千问的记忆场景中也得到了充分验证。记忆存储是 Tablestore 的典型场景之一,除了千问之外,还支撑了夸克、钉钉等关键业务。

欢迎开发者前往阿里云官网申请试用。还可扫描下方二维码,通过查看 hermes-tablestore-memory 插件将 Hermes Agent 接入 Tablestore Memory 服务,为智能体构建云端持久化、跨会话和跨 Agent 共享的语义记忆。



链接:https://help.aliyun.com/zh/tablestore/use-cases/implementation-of-tablestore-memory-storage-in-hermes


相关文章
|
2月前
|
存储 监控 NoSQL
阿里云 Tablestore 基于 Mem0 为 OpenClaw 构建记忆系统最佳实践
云托管、数据自主、智能记忆抽取!阿里云 Tablestore 基于 mem0,为 OpenClaw “龙虾”提供跨 Session、跨 Agent,记忆持久生效的智能记忆系统。
1333 4
|
20天前
|
存储 人工智能 Rust
阿里云 Tablestore 为 Hermes Agent 构建记忆系统最佳实践
数据无上限、云托管、数据自主——让你的“爱马仕”不再是金鱼记忆,阿里云 Tablestore 帮你实现。
315 1
|
人工智能 弹性计算 算法
一文解读:阿里云AI基础设施的演进与挑战
对于如何更好地释放云上性能助力AIGC应用创新?“阿里云弹性计算为云上客户提供了ECS GPU DeepGPU增强工具包,帮助用户在云上高效地构建AI训练和AI推理基础设施,从而提高算力利用效率。”李鹏介绍到。目前,阿里云ECS DeepGPU已经帮助众多客户实现性能的大幅提升。其中,LLM微调训练场景下性能最高可提升80%,Stable Difussion推理场景下性能最高可提升60%。
127880 268
|
20天前
|
存储 人工智能 NoSQL
让 Agent 拥有记忆 —— 表格存储记忆服务邀测指南
本文将介绍表格存储记忆服务的产品能力、接入方式和接口说明,帮助您快速了解和体验表格存储记忆服务的相关功能。
203 2
|
存储 人工智能 安全
揭秘 MiniMax MaxClaw:如何用阿里云让“龙虾”企业级大规模落地
MiniMax 依托于阿里云容器服务 Kubernetes 版(ACK)和容器计算服务(ACS)提供的 ACS Agent Sandbox,为其最新发布的企业级平台 MaxClaw 构建了一套端到端的云原生 Agent 基础设施。
412 0
|
10天前
|
存储 人工智能 自然语言处理
知识库接入还能这么玩?Tablestore 四种方式实战揭秘
本文详解 Tablestore 知识库服务 API 设计、四种接入方式、多维度评测结果及 PDS、ECS 等客户落地案例,助力企业快速集成高质量 RAG 能力。
213 1
|
2月前
|
自然语言处理 文件存储 数据安全/隐私保护
最佳实践:为OpenClaw配置网盘空间
网盘与相册服务(PDS)为 OpenClaw 提供云端文件存储能力。配置后,OpenClaw 可直接访问网盘文件作为任务素材,也可将生成的文档、图片、视频等保存到网盘供您下载使用。网盘支持多空间隔离和文件级权限管控,确保不同用户间的数据安全。
1109 7
|
1月前
|
SQL 存储 消息中间件
企业数据如何被 AI Agent 调用?EventHouse 打造 AI-Ready 数据底座
深入剖析 EventHouse 的核心能力及其在人工智能时代下的定位,介绍 EventHouse 如何作为 AI 数据底座,帮助企业在瞬息万变的市场中,以前所未有的速度挖掘数据价值,驱动业务增长。
211 24
|
22天前
|
人工智能 弹性计算 机器人
阿里云三种 Hermes Agent 一键部署方案全流程详解
Hermes Agent 是开源AI智能体框架,具备自进化、持久记忆、多模型兼容等特性。阿里云推出三种一键部署方案:轻量应用服务器(适合个人开发者)、计算巢(企业级高效部署)、无影云电脑(支持微信交互与移动办公),大幅降低部署门槛。
427 5
|
10天前
|
存储 运维 NoSQL
你的企业知识库,何必自己折腾?Tablestore 知识库服务帮你一站式搞定
Tablestore 知识库服务是阿里云推出的全托管 RAG 解决方案,基于 Serverless 架构,支持文档自动解析、向量化、混合检索与Subspace多租户隔离;数据全程留存客户OSS/Tablestore账户,零运维、按量付费,满足金融、政务等高合规场景需求。
210 0

热门文章

最新文章