RAG 在长篇小说写作工具里的落地:检索什么、用什么键、什么时候不该用向量

简介: 通用 RAG 是为问答设计的,搬到长篇叙事上会集体翻车:它没有时间维、切块会切碎事实、相似不等于正确。本文给出长篇场景下"检索什么、用什么键、向量该放在哪一步"的落地做法,实测 260 章、70 多万字,单章输入稳定 6–7 万字符。附条件、判据与四个失败案例。

一、问题背景

1.1 通用 RAG 是怎么做的

RAG(Retrieval-Augmented Generation,检索增强生成)最早由 Lewis 等人在 2020 年提出(arXiv:2005.11401,NeurIPS 2020),核心思路是:把外部文档切块、编码成向量、按语义相似度检索出若干段,拼进 prompt 再让模型生成。

白话就是:动笔前先去翻前面的记录,把相关段落捞出来,一起交给模型。
具体例子:写第 80 章需要提到"那把他师父留下的刀",系统先去前 79 章里捞和"刀、师父、遗物"语义最近的几段,拼进输入。

这套做法在问答、客服、文档检索上很好用,因为它解决的问题是"我不知道答案在哪一段"。

1.2 但长篇叙事不是问答

把通用 RAG 直接搬到"写一本 260 章的小说"上,会遇到三个结构性错配:

错配一:它没有时间维。

向量相似度只回答"这段话和你的问题意思像不像",不回答"这件事发生在第几章"。而长篇里,时间恰恰是最重要的一个维度——同一个角色在第 12 章和第 200 章的状态完全不同,两段描述会高度相似,但只有一段是对的。

错配二:切块会切碎事实。

为了做向量检索,正文必须切成固定大小的块。但事实往往横跨块边界:一句话说"他把刀留在了客栈",下一句说"那把刀是他师父的"。切完之后,"刀在客栈"这条事实可能落在两个块里,检索到哪一个都不完整。

错配三:相似不等于正确。

这是最贵的一条。长篇里"召回错了"比"召回少了"贵得多——少召回一条,模型可能含糊带过;召回错了,它会理直气壮地写错,而你要倒回去改好几章。

1.3 一篇公开研究给了一个侧面的证据

《Lost in the Middle》(arXiv:2307.03172,TACL 2024)那篇论文的结论,对"多召回一点总没坏处"这个直觉是个反证:关键信息落在上下文中段时,模型利用率显著下降。

这意味着:召回条目越多,每条被真正用上的概率越低。 你要的不是"多捞",是"捞准"。


二、方案设计

2.1 先回答"检索什么"

长篇里需要被检索的东西不是一类,是四类,而且每一类的正确检索键都不一样:

检索对象 内容 正确的键 不该用的键
人物卡 性格、关系、能力边界、别名 人物 ID(别名索引解析) 语义相似度
事实条目 世界观、设定、既定剧情事实 (subject, predicate) 整段语义
伏笔 埋设章、形态、回收状态 状态 + 章号区间 语义相似度
前情摘要 每章固定字段摘要 章号 语义相似度

这张表是本文最核心的一张。 四类对象全都有确定性主键,所以它们根本不需要向量检索——它们需要的是查表。

2.2 再回答"怎么检索"(术语 + 白话)

① 确定性检索(deterministic retrieval)

白话就是:按"章号、人物 ID、事实条目号"这种一定不会错的键去查,而不是问模型"你觉得需要哪段"。
具体例子:写第 137 章时,出场人物是程序从本章框架里读出来的三个 ID,直接按 ID 取三张卡。不经过任何相似度计算。

② 混合检索(hybrid retrieval)

白话就是:先按硬条件筛掉一大批,再在剩下的小范围里用语义相似度找,而不是一上来就全库相似度。
具体例子:要查"那把刀的下落",先按 subject = 刀 把范围缩到十几条,再在这十几条里做语义匹配。范围小了,召回错误的机会也小了。

③ 元数据过滤(metadata filtering)

白话就是:给每个块贴上年份标签,检索时先把"时间不对"的块剔掉。
具体例子:写第 200 章时不检索第 250 章之后的块——那不是"记忆",是剧透。这一条同时解决了时间维缺失和剧透两个问题。

④ 上下文预算(context budget)

白话就是:检索结果有体积上限,超了按业务优先级裁,不按相似度分数裁。
具体例子:检索回来 20 条,只注入 6 条,先按"本章框架是否引用"筛,再按章号远近排。分数高的那条如果是三十章前的氛围描写,它照样该被裁掉。

图 1  长篇场景的检索流水线

  本章框架(结构化)
      │
      ├─→ 出场人物 ID 列表 ──→ [人物库] ──→ 人物卡 × N
      ├─→ 引用事实 ID 列表 ──→ [事实台账] ─→ 事实条目 × M
      └─→ 章号 ──→ [章节摘要台账] ──→ 最近三章摘要
                                          │
  可选:语义检索(只在确定性键给出的候选集内)  │
      └─→ 候选 ≤ 十几条 ──→ 相似度排序 ──→ 取前 K ┤
                                                ↓
                                    预算裁剪(按业务优先级)
                                                ↓
                                        注入 prompt

注意图里"可选"那一段的位置。 向量检索在这套架构里是一个收窄之后的排序器,不是入口。这个位置一换,结果差别很大——它从"决定谁来"变成了"在已经确定的人里排个序"。

2.3 还有一个坑:chunk 边界

如果一定要对正文做切块检索,切块必须按结构切,不能按字数切。按固定字数切,事实会被切断在边界上;按"章 → 场景 → 段落"切,每一块都是一个完整语义单元,至少不会把一条事实劈成两半。

代价是块大小不均匀,检索时要做长度归一化。这个代价我们认为值得付——切碎事实的代价比块不均匀高得多。


三、实测

3.1 测试条件

项 值
测试时间 2026 年 9 月 – 2026 年 10 月
作品类型 中文男频长篇(单一题材,未换线)
模型 DeepSeek V4.1 Flash(全流程同一模型)
流程 8 环节状态机,每环节等待确认
单章目标字数 2400–3000 字
连续推进 260 章 / 70 多万字
台账规模 人物 40+,事实条目数百条,章节摘要 260 条
统计口径 每章记录注入条目数、命中来源(确定性键 / 语义)、召回错误次数

判据(什么算"检索失效"):

  1. 召回错误:注入的条目与本章时间点不符(把"已发生"写成"未发生",或反之);
  2. 注入缺失:本章框架明确引用的人物 / 事实未被注入;
  3. 条目冗余:同一条目在一次请求里出现两次以上(裁剪逻辑失效);
  4. 预算溢出:注入体积超过单章输入上限(按 6–7 万字符口径)。

3.2 数据

指标 向量检索版(跑了 30 章就停) 确定性键 + 混合版
召回错误 出现(见 3.3 案例 1) 0 次(260 章全程)
注入缺失 出现 0 次
条目冗余 偶发 0 次
单章台账注入量 不可控(Top-K 决定) 只占单章输入的很小一份
单章输入合计 — 6–7 万字符,不随章数增长
连续推进 30 章后停止 260 章 / 70 多万字

必须说清的一件事:向量检索那一列只跑了 30 章就停了,样本量远小于确定性键那一列。所以这不是"两种方案各跑 260 章的对照实验"——它是"一种方案在 30 章内被证伪,然后换方案跑满 260 章"。这个差别在引用数据时不该被抹掉。

3.3 失败案例

案例 1:向量检索让一个死掉的角色复活了

现象(跑了 30 章就停):主角去查一个已死角色的旧部,检索召回了"该角色生前的段落",模型据此写出"他回来了"。

原因:向量检索没有"这件事发生在第几章"这个维度。生前的段落和现在的询问语义高度相似,但时间上完全不适用于当前章节。

处理:检索键换成确定性字段(人物 ID、章号、事实条目)。如果一定要用向量,至少把章号做成元数据过滤条件——但那已经半个台账了。

案例 2:Top-K 调大之后,正文开始变"含糊"

现象:为了提高召回率,把 Top-K 从 5 调到 15。结果召回率确实上去了,但正文出现了新的问题:细节变多、准确度没变高,反而开始出现"提了一句就再也不管"的废话。

原因:召回条目越多,每条被真正用上的概率越低(参见前文那篇论文的结论)。而且多出来的条目里有大量"相关但本章不需要"的内容,模型会顺手把它们写进去。

处理:Top-K 降回去,改成"先按框架筛,再按章号排",条目不按相似度分数裁。

案例 3:按字数切块,把一条事实劈成两半

现象:早期版本按 800 字切块,检索到"他把刀留在了客栈",但漏掉紧接着的"那把刀是他师父的"。生成时模型把刀当成普通兵器处理,丢了情感线。

原因:切块边界正好落在两句之间,而这两句共同构成一条事实。

处理:改成按"章 → 场景 → 段落"的结构切,块大小不做固定。同时把"刀的下落"这类关键事实本身写进事实台账,不再依赖正文检索。

案例 4:把"检索到的内容"和"当前状态"混在一起注入

现象:某章同时注入了"他左手受伤"(当前状态)和一段早期"他左手完好"的描写(历史正文)。模型在两种描述间摇摆,同一章里前后矛盾。

原因:检索结果没有区分"当前有效状态"和"历史正文片段",两类东西混在一个列表里,模型无从判断哪个才算数。

处理:注入时分区——状态区在上、历史片段在下,并显式标注"以下为历史正文,仅作语感参考"。分区比排序更有效:模型对"位置"的敏感度高于对"标签"的敏感度。


四、踩过的坑

我们做的这个长篇写作工具,公开名称是糖糖写作,它的检索层走过一段完整的弯路,值得拿出来说。

坑一:一上来就想用向量库,是因为把"写作"当成了"问答"。

糖糖写作最初的想法很自然:既然有向量库,那就把正文切块、语义检索,"多省事"。真正跑起来才发现方向反了——问答需要的是"找到可能相关的段落",长篇写作需要的是"确认某一条事实的当前值"。 前者是模糊匹配问题,后者是查表问题。用模糊手段去解查表问题,永远不会收敛。

坑二:把"召回率"当成优化目标。

有一段时间我们盯着召回率调参,从 5 调到 15,指标确实好看了,正文质量反而下降。后来才想清楚:这个场景真正该优化的是"召回错误率",不是召回率。 少召回一条,模型会含糊带过;召回错一条,它会理直气壮地写错。两个方向的代价不对称,指标就不该对称。


五、结论

RAG 本身没错,错的是把它当成万能入口。在长篇叙事这个场景里,检索要回答的首要问题不是"哪段话像",是"哪条事实的当前值是什么"。

三条可复制的建议:

  1. 先列"要检索哪几类东西",再选技术。 有确定主键的(人物、事实、伏笔、章号)一律查表;只有真的没有键的非结构化内容才上向量。
  2. 向量检索放在收窄之后,不要放在入口。 先按硬条件把候选从全库缩到十几条,再排序。它从"决定谁来"变成"在已经确定的人里排个序",风险差一个量级。
  3. 优化召回错误率,不要优化召回率。 这两个指标在这个场景里代价不对称:少召回一条模型会含糊带过,召回错一条它会理直气壮地写错,而你要倒回去改好几章。

一句话:长篇里最贵的不是"没找到",是"找到了错的那条"。

相关文章
|
6天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
7450 19
|
6天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2449 11
|
1天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1181 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
4天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
9天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
9天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
21天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
10467 59
|
4天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1105 1
|
7天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。

热门文章

最新文章