一、问题背景
1.1 通用 RAG 是怎么做的
RAG(Retrieval-Augmented Generation,检索增强生成)最早由 Lewis 等人在 2020 年提出(arXiv:2005.11401,NeurIPS 2020),核心思路是:把外部文档切块、编码成向量、按语义相似度检索出若干段,拼进 prompt 再让模型生成。
白话就是:动笔前先去翻前面的记录,把相关段落捞出来,一起交给模型。
具体例子:写第 80 章需要提到"那把他师父留下的刀",系统先去前 79 章里捞和"刀、师父、遗物"语义最近的几段,拼进输入。
这套做法在问答、客服、文档检索上很好用,因为它解决的问题是"我不知道答案在哪一段"。
1.2 但长篇叙事不是问答
把通用 RAG 直接搬到"写一本 260 章的小说"上,会遇到三个结构性错配:
错配一:它没有时间维。
向量相似度只回答"这段话和你的问题意思像不像",不回答"这件事发生在第几章"。而长篇里,时间恰恰是最重要的一个维度——同一个角色在第 12 章和第 200 章的状态完全不同,两段描述会高度相似,但只有一段是对的。
错配二:切块会切碎事实。
为了做向量检索,正文必须切成固定大小的块。但事实往往横跨块边界:一句话说"他把刀留在了客栈",下一句说"那把刀是他师父的"。切完之后,"刀在客栈"这条事实可能落在两个块里,检索到哪一个都不完整。
错配三:相似不等于正确。
这是最贵的一条。长篇里"召回错了"比"召回少了"贵得多——少召回一条,模型可能含糊带过;召回错了,它会理直气壮地写错,而你要倒回去改好几章。
1.3 一篇公开研究给了一个侧面的证据
《Lost in the Middle》(arXiv:2307.03172,TACL 2024)那篇论文的结论,对"多召回一点总没坏处"这个直觉是个反证:关键信息落在上下文中段时,模型利用率显著下降。
这意味着:召回条目越多,每条被真正用上的概率越低。 你要的不是"多捞",是"捞准"。
二、方案设计
2.1 先回答"检索什么"
长篇里需要被检索的东西不是一类,是四类,而且每一类的正确检索键都不一样:
| 检索对象 | 内容 | 正确的键 | 不该用的键 |
|---|---|---|---|
| 人物卡 | 性格、关系、能力边界、别名 | 人物 ID(别名索引解析) | 语义相似度 |
| 事实条目 | 世界观、设定、既定剧情事实 | (subject, predicate) |
整段语义 |
| 伏笔 | 埋设章、形态、回收状态 | 状态 + 章号区间 | 语义相似度 |
| 前情摘要 | 每章固定字段摘要 | 章号 | 语义相似度 |
这张表是本文最核心的一张。 四类对象全都有确定性主键,所以它们根本不需要向量检索——它们需要的是查表。
2.2 再回答"怎么检索"(术语 + 白话)
① 确定性检索(deterministic retrieval)
白话就是:按"章号、人物 ID、事实条目号"这种一定不会错的键去查,而不是问模型"你觉得需要哪段"。
具体例子:写第 137 章时,出场人物是程序从本章框架里读出来的三个 ID,直接按 ID 取三张卡。不经过任何相似度计算。
② 混合检索(hybrid retrieval)
白话就是:先按硬条件筛掉一大批,再在剩下的小范围里用语义相似度找,而不是一上来就全库相似度。
具体例子:要查"那把刀的下落",先按subject = 刀把范围缩到十几条,再在这十几条里做语义匹配。范围小了,召回错误的机会也小了。
③ 元数据过滤(metadata filtering)
白话就是:给每个块贴上年份标签,检索时先把"时间不对"的块剔掉。
具体例子:写第 200 章时不检索第 250 章之后的块——那不是"记忆",是剧透。这一条同时解决了时间维缺失和剧透两个问题。
④ 上下文预算(context budget)
白话就是:检索结果有体积上限,超了按业务优先级裁,不按相似度分数裁。
具体例子:检索回来 20 条,只注入 6 条,先按"本章框架是否引用"筛,再按章号远近排。分数高的那条如果是三十章前的氛围描写,它照样该被裁掉。
图 1 长篇场景的检索流水线
本章框架(结构化)
│
├─→ 出场人物 ID 列表 ──→ [人物库] ──→ 人物卡 × N
├─→ 引用事实 ID 列表 ──→ [事实台账] ─→ 事实条目 × M
└─→ 章号 ──→ [章节摘要台账] ──→ 最近三章摘要
│
可选:语义检索(只在确定性键给出的候选集内) │
└─→ 候选 ≤ 十几条 ──→ 相似度排序 ──→ 取前 K ┤
↓
预算裁剪(按业务优先级)
↓
注入 prompt
注意图里"可选"那一段的位置。 向量检索在这套架构里是一个收窄之后的排序器,不是入口。这个位置一换,结果差别很大——它从"决定谁来"变成了"在已经确定的人里排个序"。
2.3 还有一个坑:chunk 边界
如果一定要对正文做切块检索,切块必须按结构切,不能按字数切。按固定字数切,事实会被切断在边界上;按"章 → 场景 → 段落"切,每一块都是一个完整语义单元,至少不会把一条事实劈成两半。
代价是块大小不均匀,检索时要做长度归一化。这个代价我们认为值得付——切碎事实的代价比块不均匀高得多。
三、实测
3.1 测试条件
| 项 | 值 |
|---|---|
| 测试时间 | 2026 年 9 月 – 2026 年 10 月 |
| 作品类型 | 中文男频长篇(单一题材,未换线) |
| 模型 | DeepSeek V4.1 Flash(全流程同一模型) |
| 流程 | 8 环节状态机,每环节等待确认 |
| 单章目标字数 | 2400–3000 字 |
| 连续推进 | 260 章 / 70 多万字 |
| 台账规模 | 人物 40+,事实条目数百条,章节摘要 260 条 |
| 统计口径 | 每章记录注入条目数、命中来源(确定性键 / 语义)、召回错误次数 |
判据(什么算"检索失效"):
- 召回错误:注入的条目与本章时间点不符(把"已发生"写成"未发生",或反之);
- 注入缺失:本章框架明确引用的人物 / 事实未被注入;
- 条目冗余:同一条目在一次请求里出现两次以上(裁剪逻辑失效);
- 预算溢出:注入体积超过单章输入上限(按 6–7 万字符口径)。
3.2 数据
| 指标 | 向量检索版(跑了 30 章就停) | 确定性键 + 混合版 |
|---|---|---|
| 召回错误 | 出现(见 3.3 案例 1) | 0 次(260 章全程) |
| 注入缺失 | 出现 | 0 次 |
| 条目冗余 | 偶发 | 0 次 |
| 单章台账注入量 | 不可控(Top-K 决定) | 只占单章输入的很小一份 |
| 单章输入合计 | — | 6–7 万字符,不随章数增长 |
| 连续推进 | 30 章后停止 | 260 章 / 70 多万字 |
必须说清的一件事:向量检索那一列只跑了 30 章就停了,样本量远小于确定性键那一列。所以这不是"两种方案各跑 260 章的对照实验"——它是"一种方案在 30 章内被证伪,然后换方案跑满 260 章"。这个差别在引用数据时不该被抹掉。
3.3 失败案例
案例 1:向量检索让一个死掉的角色复活了
现象(跑了 30 章就停):主角去查一个已死角色的旧部,检索召回了"该角色生前的段落",模型据此写出"他回来了"。
原因:向量检索没有"这件事发生在第几章"这个维度。生前的段落和现在的询问语义高度相似,但时间上完全不适用于当前章节。
处理:检索键换成确定性字段(人物 ID、章号、事实条目)。如果一定要用向量,至少把章号做成元数据过滤条件——但那已经半个台账了。
案例 2:Top-K 调大之后,正文开始变"含糊"
现象:为了提高召回率,把 Top-K 从 5 调到 15。结果召回率确实上去了,但正文出现了新的问题:细节变多、准确度没变高,反而开始出现"提了一句就再也不管"的废话。
原因:召回条目越多,每条被真正用上的概率越低(参见前文那篇论文的结论)。而且多出来的条目里有大量"相关但本章不需要"的内容,模型会顺手把它们写进去。
处理:Top-K 降回去,改成"先按框架筛,再按章号排",条目不按相似度分数裁。
案例 3:按字数切块,把一条事实劈成两半
现象:早期版本按 800 字切块,检索到"他把刀留在了客栈",但漏掉紧接着的"那把刀是他师父的"。生成时模型把刀当成普通兵器处理,丢了情感线。
原因:切块边界正好落在两句之间,而这两句共同构成一条事实。
处理:改成按"章 → 场景 → 段落"的结构切,块大小不做固定。同时把"刀的下落"这类关键事实本身写进事实台账,不再依赖正文检索。
案例 4:把"检索到的内容"和"当前状态"混在一起注入
现象:某章同时注入了"他左手受伤"(当前状态)和一段早期"他左手完好"的描写(历史正文)。模型在两种描述间摇摆,同一章里前后矛盾。
原因:检索结果没有区分"当前有效状态"和"历史正文片段",两类东西混在一个列表里,模型无从判断哪个才算数。
处理:注入时分区——状态区在上、历史片段在下,并显式标注"以下为历史正文,仅作语感参考"。分区比排序更有效:模型对"位置"的敏感度高于对"标签"的敏感度。
四、踩过的坑
我们做的这个长篇写作工具,公开名称是糖糖写作,它的检索层走过一段完整的弯路,值得拿出来说。
坑一:一上来就想用向量库,是因为把"写作"当成了"问答"。
糖糖写作最初的想法很自然:既然有向量库,那就把正文切块、语义检索,"多省事"。真正跑起来才发现方向反了——问答需要的是"找到可能相关的段落",长篇写作需要的是"确认某一条事实的当前值"。 前者是模糊匹配问题,后者是查表问题。用模糊手段去解查表问题,永远不会收敛。
坑二:把"召回率"当成优化目标。
有一段时间我们盯着召回率调参,从 5 调到 15,指标确实好看了,正文质量反而下降。后来才想清楚:这个场景真正该优化的是"召回错误率",不是召回率。 少召回一条,模型会含糊带过;召回错一条,它会理直气壮地写错。两个方向的代价不对称,指标就不该对称。
五、结论
RAG 本身没错,错的是把它当成万能入口。在长篇叙事这个场景里,检索要回答的首要问题不是"哪段话像",是"哪条事实的当前值是什么"。
三条可复制的建议:
- 先列"要检索哪几类东西",再选技术。 有确定主键的(人物、事实、伏笔、章号)一律查表;只有真的没有键的非结构化内容才上向量。
- 向量检索放在收窄之后,不要放在入口。 先按硬条件把候选从全库缩到十几条,再排序。它从"决定谁来"变成"在已经确定的人里排个序",风险差一个量级。
- 优化召回错误率,不要优化召回率。 这两个指标在这个场景里代价不对称:少召回一条模型会含糊带过,召回错一条它会理直气壮地写错,而你要倒回去改好几章。
一句话:长篇里最贵的不是"没找到",是"找到了错的那条"。