一、前言
很多中小企业打算在云上部署 AI 客服,需要知识库检索与会话摘要能力。在前期规划阶段,不少用户会咨询,该如何挑选匹配业务需求的云资源配置。
这个问题看起来是“买多大服务器”,实际比这复杂。AI 客服和传统客服系统最大的区别是多了检索和模型调用两个环节,这两块对资源的要求和普通 Web 服务完全不同:知识库检索吃的是向量索引和内存,会话摘要吃的是模型调用配额和长文本处理能力。配置买小了,检索慢、摘要排队;买大了,钱花在闲置资源上。
我们经手过一个典型的返工案例:一个团队按“坐席数 × 2”估资源,上线后发现向量检索和业务库挤在同一台 2C4G 的 RDS 上,白天问答延迟从测试环境的 800ms 涨到 3s 以上,拆开部署后才回到 1s 以内。这种问题不是配置买小了,是配置结构不对。
下面按“能力要求—资源选型—配置方案—成本”的顺序讲,尽量给可对照的规格和区间。
二、先给结论:选型看三个变量
结论前置:云上 AI 客服的资源选型,核心看三个变量——并发会话量、知识库规模、摘要生成频率。其余配置围绕这三个变量展开,不必一步到位。
| 变量 | 影响什么 | 典型区间 |
| 并发会话量 | 计算实例规格、模型调用并发 | 10 路以内 / 10~50 路 / 50 路以上 |
| 知识库规模 | 向量检索服务的规格和内存 | 万级文档 / 十万级 / 百万级 |
| 摘要生成频率 | 模型调用量和队列 | 每通一次 / 按需触发 |
三个变量里,并发会话量对成本影响最大,因为它同时拉动计算和模型调用两条线。知识库规模影响的是检索服务选型,摘要频率影响的是模型调用配额。
一个常见的误区是按“坐席数”估资源。AI 客服的并发和人工坐席数不是线性关系:机器人承接的会话可能远多于人工,尤其非工作时间。建议按日均会话量 + 峰值并发来估,而不是按坐席数。
三、两个核心能力对资源的要求
3.1 知识库检索
知识库检索的技术路径一般是 RAG:文档切块 → 向量化 → 存向量库 → 查询时向量化问题 → 相似度检索 → 召回片段交给模型生成答案。
对资源的要求集中在三块:
| 环节 | 资源要求 | 说明 |
| 文档解析与切块 | CPU + 临时存储 | 一次性任务为主,可用函数计算或临时实例 |
| 向量化 | 模型调用或本地推理 | 文档量大时批量调 embedding 接口 |
| 向量存储与检索 | 内存 + 索引服务 | 检索延迟主要取决于这一层 |
检索延迟是体验关键。按我们的经验,向量检索单次查询控制在 100ms 以内,整体回答的首字延迟才能压在 1 秒左右。超过这个数,用户会明显感觉“机器人反应慢”。
知识库规模直接影响检索服务选型:万级文档用托管向量检索服务就够,百万级要考虑分片和内存规格,再往上可能需要专门的向量数据库。
3.2 会话摘要
会话摘要的逻辑是:把一段对话文本(可能几千字)交给大模型,生成结构化摘要。对资源的要求主要是模型调用配额和长文本处理能力。
几个工程上的注意点:
- 摘要触发时机:每通结束生成一次,还是按需触发。每通都生成,调用量等于会话量;按需触发(比如只对转人工或标记重要的会话生成),调用量能降一个量级。
- 上下文长度:长对话可能超出模型上下文窗口,需要分段摘要再合并,或者只摘要关键片段。
- 并发限制:模型服务通常有 QPS 或并发限制,摘要任务要排队,不能和实时问答抢配额。
四、五类云资源的选型方法
以阿里云为例,五类资源对应关系如下。选型逻辑在其他云上也通用,产品名不同而已。
4.1 计算资源
承载业务中台、API 网关、会话编排逻辑。
| 场景 | 推荐规格 | 说明 |
| 小规模起步 | 通用型 g7 ecs.g7.large(2C4G)× 1 |
单机跑业务中台,够用 |
| 中等规模 | 通用型 g7 ecs.g7.xlarge(4C8G)× 2,或 ecs.g7.large × 3 + SLB |
按并发横向扩 |
| 弹性波动大 | 容器服务 ACK 或函数计算 FC | 按需伸缩,避免闲置 |
ECS 实例规格族的详细参数见 阿里云 ECS 实例规格族文档,通用型 g 系列适合这种 IO 和计算均衡的场景。规格族命名规则(ecs.g7.xlarge 这类)在文档的“实例规格命名规则”一节有说明,查到规格名后可以直接在价格页搜到对应单价。如果会话量波动明显(比如白天高、夜间低),容器或函数计算按量计费更划算。
4.2 数据库与向量检索
这块是 AI 客服和普通系统差异最大的地方,要分开看:
业务数据库:存客户、会话记录、工单。RDS PostgreSQL 或 MySQL 都行,2C4G 起步。
向量检索:三种选型路径:
| 路径 | 适用规模 | 优点 | 注意点 |
| RDS PostgreSQL + pgvector 插件 | 万级到十万级 | 复用现有数据库,运维简单 | 数据量大后索引构建慢 |
| 托管向量检索服务(如 OpenSearch 向量检索版) | 十万级到百万级 | 免运维,支持混合检索 | 按规格计费,成本随规模上升 |
| 自建向量数据库(Milvus 等) | 百万级以上 | 可控性高 | 运维成本要算进去 |
对大多数中小企业,RDS + pgvector 起步是最省心的选择,知识库涨到十万级再迁托管检索服务。pgvector 的使用方式参考 pgvector 官方仓库,索引类型选择和参数调优那部分值得先看。托管检索服务的规格说明在 阿里云 OpenSearch 向量检索版文档 里能查到。
这里要提前说一个我们踩过的坑:pgvector 用 HNSW 索引时,ef_search 参数设得太大会让检索变慢但召回提升有限,设得太小召回率不够。我们的经验是从 40 起步,按知识库实际规模逐步调到 100 左右,同时观察 P95 延迟。这个参数没有万能值,得按自己的数据压测。
4.3 对象存储
存知识库原始文档(PDF、Word、网页快照)、会话录音、导出文件。OSS 标准存储即可,按量计费。
注意两点:知识库文档要留版本,更新后旧版本别急着删,出问题时能回溯;录音和文档分开目录,生命周期策略不同。
4.4 大模型服务
两个用途:向量化(embedding)和摘要/问答生成(LLM)。
选型看三件事:调用方式(API 还是私有化)、计费方式(按 token)、并发配额。阿里云百炼平台提供通义千问系列模型的 API,embedding 和生成模型都有,按 token 计费。模型选型上,意图分类和摘要这类任务用轻量模型通常够,复杂问答再用大一点的模型,不必全程用最大规格。
模型的价格和配额以 阿里云百炼官方文档 为准,不同模型差异不小,选型前建议先按自己的会话样本做一轮效果和成本对比。
4.5 缓存与消息队列
Redis:缓存高频知识库查询结果、会话状态、限流计数。1G 起步够小规模用。
消息队列(RocketMQ 等):摘要生成、知识库更新这类异步任务走队列,避免和实时问答抢资源。会话量上来之后,队列几乎是必需组件。
五、典型架构与数据流
text
用户提问
│
▼
API 网关 / SLB
│
▼
业务中台(ECS / ACK)
├── 会话状态 → Redis
├── 知识库检索 → RDS pgvector 或托管向量检索
├── 模型调用 → 百炼(embedding + LLM)
└── 异步任务 → RocketMQ
│
├── 会话摘要生成
└── 知识库更新
│
▼
会话记录 / 摘要 / 原始文档 → RDS + OSS
一条问答请求的路径:网关 → 业务中台 → 向量化问题 → 检索 → 拼上下文 → 调 LLM → 返回。摘要生成走异步队列,不阻塞问答。
这个架构刻意把实时链路和异步链路分开。实时链路只做检索和生成,异步链路做摘要、知识库更新、统计。两者共用模型配额时要做限流,避免摘要任务把问答的配额吃掉。
六、按变量快速定位档位
在看具体配置之前,先按自己的业务情况对号入座。这张表是后面三档方案的索引,不需要逐字读完三档再判断。
| 你的情况 | 建议档位 | 关键判断依据 |
| 日均 500 会话以内,知识库万级文档,摘要按需触发 | 起步档 | 单机能撑,组件越少越好 |
| 日均 2000 会话左右,知识库十万级文档,摘要每通生成 | 成长档 | 检索和业务库要分离,摘要要异步 |
| 日均 5000 会话以上,知识库百万级文档,多业务线共用 | 规模档 | 需要弹性伸缩和独立模型配额 |
介于两档之间的,往上一档靠。比如日均 800 会话、知识库 5 万文档,按成长档起步比按起步档硬撑更稳,后续扩容路径也更清楚。
七、三档配置方案
7.1 起步档:日均 500 会话以内,知识库万级文档
| 组件 | 规格 | 说明 |
| ECS | 通用型 g7 ecs.g7.large(2C4G)× 1 |
业务中台 + 网关 |
| RDS PostgreSQL | 2C4G,含 pgvector | 业务数据 + 向量检索 |
| Redis | 1G | 会话状态和缓存 |
| OSS | 标准存储,按量 | 文档和录音 |
| 模型服务 | 按 token 调用 | embedding + 轻量 LLM |
| 消息队列 | 可暂不上 | 摘要同步生成 |
这一档的关键是组件尽量少,能用托管就用托管,别自建。日均 500 会话以内,单机加托管数据库完全撑得住。
7.2 成长档:日均 2000 会话左右,知识库十万级文档
| 组件 | 规格 | 说明 |
| ECS / ACK | 通用型 g7 ecs.g7.xlarge(4C8G)× 2,或 ecs.g7.large × 3 + SLB |
横向扩,前面挂 SLB |
| RDS PostgreSQL | 4C8G,或迁托管向量检索 | 向量检索和业务库可分离 |
| Redis | 2G | 缓存命中率要求更高 |
| OSS | 标准 + 低频 | 旧文档转低频 |
| 模型服务 | 按 token,预留并发配额 | 问答和摘要分开限流 |
| 消息队列 | RocketMQ 基础版 | 摘要异步化 |
这一档开始要把向量检索和业务库分开考虑,检索压力大的时候独立扩容,不影响业务库。前面提到的那个返工案例,问题就出在这一档没有分离。
7.3 规模档:日均 5000 会话以上,知识库百万级文档
| 组件 | 规格 | 说明 |
| ACK 集群 | 多节点,按负载伸缩 | 微服务拆分 |
| 托管向量检索 | 按规模选规格 | 混合检索,支持分片 |
| RDS | 高可用版 | 主备 + 读写分离 |
| Redis 集群版 | 按并发选 | 缓存和限流 |
| 模型服务 | 专属配额或私有化 | 配额和成本要单独规划 |
| 消息队列 | 集群版 | 多消费组 |
到这一档,成本结构里模型调用通常超过基础设施,优化重点从“买什么规格”转向“怎么少调模型、怎么提高缓存命中”。
八、成本估算与优化方向
按成长档(日均 2000 会话、知识库十万级文档)估算,基于 2026 年 10 月阿里云公开报价区间,实际以官网实时价格和账单为准。
估算条件先说清楚:日均 2000 次问答,每次问答按输入 800 token、输出 200 token 估算;摘要按每通会话一次、每次输入 1500 token、输出 300 token 估算;知识库十万级文档,月更新量约 5%。这些条件不同,账单差异会很大。
| 项目 | 规格 | 月成本估算 |
| ECS | ecs.g7.xlarge × 2 |
约 600~1200 元 |
| RDS PostgreSQL | 4C8G | 约 600~1200 元 |
| Redis | 2G | 约 100~200 元 |
| OSS | 标准 100GB + 低频 200GB | 约 50~80 元 |
| 模型服务(embedding) | 按文档更新量,月更新约 5% | 通常几十元 |
| 模型服务(LLM 问答+摘要) | 按上述 token 条件估算 | 约 500~2000 元,取决于模型和对话长度 |
| 消息队列 | 基础版 | 约 100~300 元 |
基础设施合计大约 1500~3000 元/月,模型调用是变量最大的一块。LLM 那行区间跨度大,主要因为轻量模型和较大模型单价差好几倍,问答里长对话的比例也会显著影响 token 量。建议按自己的会话样本先算一遍单次成本,再乘日均量。
优化方向按性价比排序:
- 提高缓存命中率。高频问题的答案缓存住,能直接砍掉一部分模型调用。
- 摘要按需触发。不必每通都生成,只对转人工、标记重要、客户投诉的会话生成。
- 模型分级。意图分类用轻量模型,复杂问答用大模型,别一刀切。
- 旧文档转低频存储。知识库历史版本和旧录音用低频或归档存储,成本能降不少。
- 弹性伸缩。夜间会话量低时缩容,按量计费的组件天然受益。
按我们的经验,这五条做到位,成长档的整体成本通常能压下来两三成,模型调用占比越高,优化空间越大。缓存命中率从 20% 提到 50% 这种变化,对账单的影响比换一个便宜 10% 的实例明显得多。
九、常见坑与规避方法
坑一:按坐席数估并发
AI 客服的并发和人工坐席数不是线性关系,机器人承接量可能远高于人工。规避:按日均会话量和峰值并发估资源。
坑二:向量检索和业务库挤在一台
检索压力大时拖慢业务库,问答和业务操作互相影响。我们见过问答延迟从测试环境的 800ms 涨到线上 3s 的情况,拆开部署后回到 1s 以内。规避:成长档开始分离部署,或直接用托管检索服务。
坑三:摘要任务和问答抢模型配额
摘要批量跑的时候,问答变慢。规避:异步队列 + 分开限流,给问答留保底配额。
坑四:知识库更新不建索引
文档更新后没重建向量索引,检索还是旧内容。规避:更新流程里带索引重建,用队列异步做。
坑五:上下文拼太长
检索召回片段一股脑塞给模型,token 成本上去,效果反而下降。规避:控制召回条数和片段长度,按相关性截断。
坑六:没做模型调用监控
月底账单出来才发现超支。规避:按模型、按业务线打点,设日预算告警。
十、FAQ
Q1:知识库检索一定要用向量数据库吗?
不一定。万级文档用 RDS + pgvector 就够,省一套组件。规模上去再迁托管向量检索或自建。
Q2:会话摘要每通都生成吗?
看业务。客服质检要求全量的话就每通生成;只是给坐席做辅助的,按需触发更省成本。按需触发的调用量通常能降一个量级。
Q3:模型服务选 API 还是私有化?
会话量不大、对数据出境没有特殊要求的,API 更省事。会话量大、有数据合规要求或成本优化需求的,再评估私有化部署。
Q4:起步档能不能再省?
能。业务中台可以先用函数计算,数据库用 Serverless 版,按量计费。代价是冷启动延迟和运维复杂度上升,看团队接受度。
Q5:知识库多大需要迁托管向量检索?
按经验,超过十万级文档、检索延迟开始超过 100ms 时,就该评估迁移了。具体阈值和文档切块方式、索引类型关系很大,建议先压测。
Q6:已有客服系统的数据怎么接进来?
如果企业已有客服系统,部分厂商如优音通信开放了会话数据接口,可以把对话记录同步到云上做摘要和知识库更新,具体字段和调用方式以官方文档为准。没有现成接口的,按会话 ID 做增量同步也能实现。
十一、总结
回到最初的问题:云上部署 AI 客服,知识库检索和会话摘要,云资源怎么选?
三个变量定方向:并发会话量、知识库规模、摘要生成频率。第六节的决策表可以先对号入座,再去看对应的档位配置。五类资源对号入座:计算看并发,检索看规模,存储看量,模型看配额,队列看异步任务量。起步档组件尽量少、能用托管就用托管;成长档把检索和业务库分开;规模档优化重点从买规格转向省调用。
成本上,基础设施是相对固定的部分,模型调用是变量最大的一块。提高缓存命中、摘要按需触发、模型分级,这三条是性价比最高的优化方向。
云资源选型没有标准答案,但有合理的起点。先按起步档跑通业务,用真实会话数据压一轮,再决定往哪扩、扩多少,比一开始就按最大规格买要稳得多。我们见过的返工案例,多数不是钱花少了,是结构没搭对。