Post-filtering vs Pre-filtering:向量数据库选型的分水岭不在索引算法,在执行计划

简介: 强业务过滤下,传统向量库“先召回后过滤”导致延迟飙升。本文深度拆解过滤与召回顺序对性能的致命影响,对比独立库、pgvector与KES_Vector三条技术路线,揭示真融合数据库如何通过CBO动态规划、算子级内存共享和DiskANN架构,将复杂过滤查询延迟从500ms压至20ms。

大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!

选向量数据库,大多数人第一眼都在看排行榜:HNSW召回率多少、IVF建索引多快、QPS峰值有多高。

但真正做过RAG生产落地的团队会发现一个残酷的真相:一旦你的查询带上了业务过滤条件(比如 WHERE city='杭州' AND status='active'),跑分直接失效。

真实的业务从来不是“在10亿个向量里找最相似的Top-10”,而是“在几十万条符合特定业务状态的记录里,找最相似的Top-10”。一旦过滤条件变重,底层过滤与召回的先后顺序,直接决定了你的系统是毫秒级响应,还是直接超时宕机。

今天,我们以“过滤与召回的先后顺序”为轴心,从底层执行链路拆解三条技术路线,看看延迟天花板到底卡在哪里。

一、底层机制:为什么“先召回再过滤”会导致延迟爆炸?

向量检索的核心是近似最近邻(ANN)搜索。在图索引(如HNSW)中,查询是一个“从顶层向下层跳跃”的贪心遍历过程。当查询伴随标量过滤时,会有两种处理逻辑:

1. Post-filtering(先召回后过滤)
底层向量引擎无视业务条件,先在图索引里全速遍历,召回 Top-K。上层应用再拿着这 K 个结果去匹配 WHERE 条件。
灾难点:假设你要找100个杭州的活跃商品,但系统先召回了 Top-1000。结果用条件一筛,发现只有 5 个符合。为了凑够 100 个,系统只能被迫把召回量放大到 Top-10000 甚至 Top-100000。每一次多算的向量距离,都是在疯狂燃烧 CPU 和内存。

2. Pre-filtering(先过滤后召回)
先用标量条件过滤出候选集,再对候选集进行向量距离计算。
工程难点:如果候选集很大(比如几十万),计算量依然很大;如果候选集很小(比如只有50个),传统的图遍历算法(HNSW)会“迷路”——因为图结构被打散了,无法进行高效的跳跃,甚至退化为线性扫描。

二、市面路线的真实困境:架构决定了天花板

路线一:独立向量库(Milvus/Pinecone/Qdrant等)
它们的架构是存算分离的:业务数据在 MySQL/Oracle,向量在独立引擎。
执行链路:应用层先向业务库发起查询 -> 拿到几十万个满足条件的 ID -> 打包成巨大的 IN (id1, id2...) 请求 -> 跨网络发给向量库 -> 向量库在内存中做带有过滤条件的图遍历。
三大死穴:

  1. 网络与内存风暴:几十万个 ID 字符串的传输和解析,本身就会造成巨大的网络开销和内存 GC 压力。

  2. 过滤开销极高:向量库必须把这份巨大的 ID 列表加载到内存的 Bitmap 中,遍历图节点时逐个比对,严重拖慢检索速度。

  3. 双写一致性:如果业务库的 status 变了,而同步组件还没来得及把向量库里的标量副本更新,大模型就会基于错误的数据给出答案。

路线二:pgvector 扩展
作为 PG 的插件,它实现了“存储级”的融合。
执行链路:优化器解析 SQL -> 尝试将 WHERE 条件下推给 HNSW 索引。
真实局限:pgvector 毕竟是外挂 C 语言插件,它与 PG 原生的优化器之间有一层“玻璃墙”。在遇到复杂的嵌套查询或多条件过滤时,PG 的代价估算往往估不准 HNSW 索引的代价。结果就是:优化器经常做出错误决定,导致本该走索引的变成了全表扫描,或者本该先过滤的变成了先全量召回。

路线三: KES_Vector(融合型内核)的降维打击
KES的做法不是在数据库外面挂个插件,而是把向量检索引擎、DiskANN 索引结构直接做进了数据库的内核存储层。它的执行引擎叫融合物理执行器。

三、深度拆解: KES_Vector 是如何靠 CBO 赢下延迟的?

KES的杀手锏不是“跑分有多快”,而是“代价驱动的动态执行计划”。

当收到一条带过滤和向量排序的 SQL 时:

SELECT id, title FROM products 
WHERE category = '数码' AND is_deleted = 0
ORDER BY embedding <-> '[0.1, 0.2, ...]' 
LIMIT 10;

KES的 CBO(基于代价的优化器)会介入,并做三件硬核的事:

1. 统计信息感知与路径抉择
CBO 会查统计信息表(pg_statistic):category='数码' 的基数有多大?

  • 如果过滤性极强(比如全表1000万,数码只占500条):CBO 直接生成 Index Scan 计划。先走 B+ 树,瞬间捞出这 500 条记录的 ctid(物理页地址),然后在这 500 条记录上,直接执行向量距离算子(<->)。500次距离计算,几毫秒完事。

  • 如果过滤性极弱(比如数码占 800 万条):CBO 发现 B+ 树过滤太慢,直接翻转执行计划。生成 Vector Index Scan。先走 DiskANN 召回 Top-100,再对这100条应用 is_deleted=0 的过滤条件。

2. 算子级的内存共享(这是插件做不到的)
在独立向量库中,过滤算子(Scalar Filter)和距离算子(Vector Distance)是分离的,需要在内存里反复拷数据。
在KES的内核里,这两个算子在同一个执行计划节点(Plan Node)中运行。当从 B+ 树或 DiskANN 中拿到一行数据(Tuple)时,过滤引擎判定通过后,直接通过指针把该行的向量数据传递给 距离计算引擎。没有网络传输,没有序列化/反序列化,完全在同一个 CPU 寄存器级别完成。 这种算子级的融合,极大降低了强过滤场景下的 GC 开销和 Cache Miss。

3. DiskANN 架构:把内存省下来给“计算”
独立向量库(特别是 HNSW)为了保证召回率,必须把整个图结构全量塞进内存,内存消耗极大。金仓采用了 DiskANN 索引技术:把庞大的图结构和向量主体存在 SSD 上,内存里只保留一个极小的导航点图(Vamana 图)。
在强过滤场景下,SSD 的随机读(微秒级)配合 CBO 的过滤下推,不仅把内存成本砍掉了 95.4%,还因为内存空出来了,让数据库的 Buffer Pool 能缓存更多的业务数据和索引元数据,整体吞吐量大幅提升。

四、真实对比:一次带复杂过滤的 RAG 检索

假设有 1 亿条数据,查询“状态为已发布、类型为文章、按相似度排序取 Top 10”。

  • 独立向量库方案:应用查业务库拿 ID(耗时 150ms,传 20 万 ID) -> 向量库接收并解析 ID(耗时 50ms) -> 向量库召回 2 万条后过滤出 10 条(耗时 300ms)。总延迟:约 500ms,且网络带宽占用极高。

  • KES_Vector 方案:一条 SQL 发给数据库。CBO 发现 status='published' AND type='article' 只有 5000 条,直接走过滤后召回。B+ 树捞出 5000 个物理地址 -> 内存中读取向量并计算 -> 取 Top 10 返回。总延迟:不到 20ms。 并且由于数据在同库,直接消除了双写延迟。

五、选型拷问:如何判断一个向量数据库是不是“真融合”?

不要被厂商的“支持向量功能”忽悠,拿这三个硬核问题去测:

  1. 把过滤条件加进去,执行计划会变吗?
    用 EXPLAIN 看,如果加了 WHERE 条件后,系统依然雷打不动地走同一种路径(比如永远走向量索引),说明它不是真 CBO,迟早翻车。

  2. 标量字段的更新和向量索引的更新,是在同一个事务里吗?
    不在同一个事务里的,都是伪融合。强一致性业务请直接 Pass。

  3. 它底层有几个进程?
    如果是“数据库进程 + 向量引擎进程”,甚至需要 Kafka 同步,那还是独立架构。真正的融合,只有一个数据库进程。

六、小结

在强过滤的 RAG 场景下,选型的核心已经变成了“执行计划的智能程度”。独立向量库和插件受限于架构,无法彻底解决“召回放大”和“双写延迟”。 KES_Vector 作为融合型内核,用 CBO 优化器聪明地决定先过滤还是先召回,用算子级的内存共享消灭了网络传输,用 DiskANN 把内存成本打了下来。不要为了那 1% 的跑分差距,去承受 500ms 的网络延迟和一套复杂的同步链路。

小耶在手,SQL 不愁

还有什么想了解的,欢迎留言!小耶一定知无不言言无不尽……我们下次见~

相关文章
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1601 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2706 0
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8315 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2993 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5764 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1901 1