ES|QL|rescore_oversample 可以填 0 了,填上就等于跳过重打分

简介: 9.1 起 ES|QL 的 rescoreoversample 允许填 0。

9.1 起 ES|QL 的 rescore_oversample 允许填 0。0 是"别过采样、也别重打分",不是数值意义上的零,不是"过采样 0 倍"——这是个特殊值。

说明

实测环境:本地起的 Elasticsearch 9.4.2 单节点实例(官方 tar 包直接跑,堆内存 512MB,安全与机器学习关闭),curl 连本地 9200 端口。本文「实测」小节的命令和输出都出自这个实例。

来源和边界先交代:本文的依据出自 v9.4.2 标签下的官方文件(9.1.0.yml、KnnQuery.java、Knn.java),文中引用的原文均来自这些文件。示例取自官方示例;哪些是文档写明、哪些是我的推断,正文里逐处标注。

01-9.1.0

图 1:官方文件 9.1.0.yml(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 9.1.0.yml

官方条目

9.1 的 changelog 标为 enhancement(9.1.0.yml 第 720–723 行 @ v9.4.2),area: Vector Search:

Allow zero for `rescore_vector.oversample` to indicate by-passing oversample and rescoring

只有一行 summary,但这句话本身信息量够——它明确说了 0 的含义是"跳过"。

02-KnnQuery

图 2:官方文件 KnnQuery.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 KnnQuery.java

先说重打分和过采样

向量检索里有个常见做法:先用量化向量快速粗排,再用原始向量精排。

  • 量化向量(BBQ、int8 等)体积小、算得快,但精度有损;
  • 原始向量(float32)精度高,但算得慢、占空间大。

所以流程是:

  1. 用量化向量找一批候选;
  2. 对候选用原始向量重算一次分数,重新排序。

第 2 步就是重打分(rescoring)。

过采样(oversample) 解决的是第 1 步要取多少候选的问题。如果只要 Top 10,直接取 10 个量化候选去重排,可能漏掉"量化算出来排第 12、但真实分数排第 3"的那条。

所以做法是:多取一些。oversample = 3 表示取 10 × 3 = 30 个候选,重排后返回前 10。

权衡很清楚:oversample 越大,召回越好,但要重排的候选越多,也就越慢。 这个旋钮调的就是"愿意为精度多付多少时间"。

03-Knn

图 3:官方文件 Knn.java(v9.4.2 标签)。来源:GitHub elastic/elasticsearch v9.4.2 Knn.java

0 是什么意思

按数值理解,0 倍过采样 = 取 0 个候选 = 什么都返回不了。这显然不是它想表达的。

官方那行 summary 已经说清了:0 表示 by-passing oversample and rescoring——跳过过采样和重打分。

也就是说:不做重打分这一步,直接用量化向量的结果返回。

把它和相邻取值放在一起看会更清楚:

值 行为
> 1(如 3.0) 多取候选,重打分
1 取 k 个,重打分(等于没多取,但重排了)
0 跳过整个重打分环节
不填 走默认行为

所以 0 是个开关,不是数值。 它跟"1 倍"差的不止一点点——1 还会重排,0 连重排都不做。

为什么需要这个开关

重打分是有代价的:要读原始向量。

量化向量的意义就是"用小体积换速度"。而重打分要把原始 float32 向量读出来重算——这部分开销可能抵消掉量化带来的收益。

所以有些场景宁可不重排:

  • 对精度要求不高的粗筛。比如先粗筛出几百条,后面还有别的排序逻辑;
  • 量化后精度损失本来就很小的场景,重排的收益有限;
  • 延迟敏感、资源紧张,宁可要快一点。

判断:这个开关的价值在于把"要不要重排"的决定权交给你。以前只能靠 oversample 的数值间接影响开销,现在可以直接关掉。我的建议是:确定不需要重排的场景就写 0,别留着默认值白花开销。

什么时候重打分其实是浪费

上面说"重打分有代价",这里把它讲具体,因为它决定了你该不该填 0。

情形一,向量没有量化。 前面提过但值得再说一遍:如果字段存的是原始 float32 向量,根本就没有"用量化粗排、用原始精排"这回事——一步就是精排。这时 oversample 相关的一切都不适用。

情形二,k 相对候选集很大。 假设 k=1000,oversample=3 意味着要重排 3000 条。重排的开销随候选数线性增长,k 大时这个数字会很可观。而 k 大的场景(比如"要尽量多的相似结果")往往对 Top N 的精确顺序并不敏感——重排的收益在这个场景下最小,成本却最大。

情形三,后面还有别的排序。 如果 ES|QL 里 kNN 之后还要按别的字段排(SORT 一个业务分数),那向量部分的精确顺序到后面就被覆盖了。这时花在重排上的开销,很可能没体现在最终结果里。

这三种情况有个共同点:重排投入的成本,没有转化成最终结果的改善。

推断标准就一句话:看最终返回给用户的是什么。如果向量相似度就是最终排序依据 → 重排有价值;如果后面还有一层排序 → 先确认重排的结果有没有被用上。

源码里怎么走的

ES|QL 侧的处理在 KnnQuery.java 第 51–54 行(源码 @ v9.4.2):

Float oversample = (Float) options.get(RESCORE_OVERSAMPLE_FIELD);
if (oversample != null) {
   
    rescoreVectorBuilder = new RescoreVectorBuilder(oversample);
}

关键点是:只有 oversample != null 时才构造 RescoreVectorBuilder。

也就是说:

  • 不填 → oversample 为 null → 不构造 → 走默认;
  • 填了任何值(包括 0) → 构造 RescoreVectorBuilder。

所以 0 是作为一个明确的值传下去的,由下游的 RescoreVectorBuilder 去解释它的含义。ES|QL 这一层不做特殊处理——它只负责"你填了就传下去"。

(说明:0 的具体判定逻辑在 RescoreVectorBuilder 里,未逐个读那部分代码,所以"0 在哪里被识别成跳过"给不出精确位置。上面这段能确定的只有 ES|QL 侧的传递行为。)

参数定义在 Knn.java 第 154–161 行(源码 @ v9.4.2):

name = "rescore_oversample",
type = "double",
valueHint = {
    "3.5" },
description = "Applies the specified oversampling for rescoring quantized vectors. "
    + "See [oversampling and rescoring quantized vectors] ... for details."

注意两个细节:

  • 类型是 double,不是整数。所以 3.5 这种小数值是合法的;
  • 文档的 valueHint 给的是 3.5,没有提到 0 这个特殊值。这是 changelog 有、函数文档没有的信息。

第二点要看清楚:如果你只看函数文档,会不知道 0 有特殊含义。这类"文档滞后于代码"的情况在快速迭代的功能上很常见——changelog 有时比参考文档更新得快,排查功能边界时两边都该看。

ES|QL 里怎么写

rescore_oversample 是 KNN() 函数的命名参数。大致写法:

FROM my-index
| WHERE KNN(my_vector, [0.1, 0.2, ...], 10, {"rescore_oversample": 0.0})
| LIMIT 10

这里的 0.0 就是要跳过重打分。

注意类型是 double,写 0 还是 0.0 取决于解析是否严格——这一点未实测,稳妥起见写 0.0 更符合声明的类型。

(说明:上面这条查询按参数定义构造,未实际执行过。语法细节以你版本的文档为准。)

和 Query DSL 里该参数的关系

如果你用过 Query DSL 的 kNN 查询,会见过 rescore_vector.oversample——changelog 里用的就是这个名字(rescore_vector.oversample)。

而 ES|QL 里叫 rescore_oversample。两个是同一件事的两种写法,只是入口不同。

判断这次改动两边都生效(changelog 用的是 DSL 侧的名字,而 ES|QL 侧的实现是通用的),但这一点未逐个确认——如果你只关心 ES|QL,测一下就知道。

这是个"把内部行为暴露成开关"的改动

放一起看会更清楚。9.x 里这类改动前面写过几个:

篇 改动 暴露了什么
none 分块策略 none 分块策略 暴露"不切"这个选项
HNSW 早停默认开启 HNSW 早停开关 暴露"是否提前停"
本篇 oversample = 0 暴露"是否重打分"

共同点:这些行为以前就存在,只是你没法控制。ES 内部一定有"什么时候值得重排"的判断,现在把开关交出来了。

这个方向合理,理由跟前两篇一样:取舍该由使用者决定。官方可以定一个对多数人合理的默认,但不该假设所有场景都一样。

代价是参数变多了、理解成本上升。 所以建议是:先按默认跑,遇到具体问题再动这些开关——而不是一开始就把所有旋钮都拧一遍。

这类"0 有特殊含义"的设计尤其要当心。 因为它违反直觉:看到数值参数会默认是连续的,结果中间藏着一个开关。做法是——凡是文档里说"某值表示关闭/跳过"的,用的时候就写注释说明,免得半年后自己都忘了为什么填 0。

这个开关怎么用

具体到 oversample,给一个可操作的顺序:

第一步:先开着重打分跑,拿效果基线。 记录召回质量和延迟。

第二步:填 0 再跑一遍同样的数据。 对比两组的差异。

第三步:看差异有多大。

  • 两份结果几乎一样 → 场景里重打分收益不大,可以填 0 换性能;
  • 差异明显 → 老老实实开着,调 oversample 的数值。

不要用"理论上应该更快"来决定。 量化带来的精度损失跟数据分布有关,别人的结论搬不过来。

还有一个容易忽略的:先确认字段真的用了量化。 如果向量本来就是 float32 没量化,那重打分这一步本来就不存在,填 0 也就没有意义。

测试时容易犯的一个错:只比"开了和关了差多少",却没固定其他变量。k 的大小、过滤条件、数据量都会影响结果。改一个变量测一次,否则两组数据都说明不了问题。

还有个务实的提醒:对比要在生产量级的数据上做。小数据集上量化和原始向量的差异往往体现不出来,测出来的"几乎一样"可能只是因为数据太少,不是真的没差别。

在 9.4.2 上跑一遍

同一个 knn retriever,只改 rescore_vector.oversample 的值:

oversample

图 4:本地 9.4.2 单节点实例上的实测输出。上:填 0;下:填 -1

curl -s -X POST "http://localhost:9200/kv/_search?filter_path=hits.hits._score" \
  -H 'Content-Type: application/json' \
  -d '{"retriever":{"knn":{"field":"v","query_vector":[1,2,3],"k":1,"num_candidates":10,"rescore_vector":{"oversample":0}}}}'

curl -s -X POST "http://localhost:9200/kv/_search" \
  -H 'Content-Type: application/json' \
  -d '{"retriever":{"knn":{"field":"v","query_vector":[1,2,3],"k":1,"num_candidates":10,"rescore_vector":{"oversample":-1}}}}' \
  | jq -r '"HTTP \(.status): \(.error.root_cause[0].reason)"'

填 0 被接受,查询正常返回;填 -1 返回 HTTP 400: Failed to build [rescore_vector] after last required field arrived。

要留意两件事。一是参数位置:它叫 rescore_vector.oversample,在 retriever 的 knn 段里,不是顶层;写成 rescore_oversample 会拿到 unknown field ... did you mean [rescore_vector]。二是 -1 的报错既没提字段名也没提允许范围,只说"构造失败"——排查时如果只看到这句,很难一眼知道是 oversample 越界。

结论是:0 现在是合法值,填上等于跳过重打分,量化索引又只需要原始精度时可以用它省掉一轮计算;但生成这个参数的模板里要自己加下界校验,别指望 ES 给你一句能看懂的报错。

写在最后

很小的改动:一个参数多接受一个值,且这个值是特殊含义。

一,0 表示跳过过采样和重打分,不是"0 倍采样"。它和 1 的区别是:1 还会重排,0 连重排都不做——这个区别容易看漏。

二,它是个开关不是数值。 用来在"精度"和"速度"之间做选择,不是用来微调的。这类"数值参数里藏开关"的设计违反直觉,我的建议是用的时候在代码里写注释说明,别让下一个人猜。

三,决定前先测,且要在生产量级的数据上测。 量化精度损失跟你自己的数据有关,用两组对比数据说话,不要用"理论上更快"下结论。

另外诚实标注了三处:0 在 RescoreVectorBuilder 里的具体判定位置未逐个读代码;示例查询未执行(含"写 0 还是 0.0"这个细节未实测);是否同时作用于 Query DSL 和 ES|QL 两侧未逐个确认。

参考

本文对照 Elasticsearch v9.4.2 标签的 changelog 与源码核对,引文与代码逐字取自原文。"重打分与过采样的代价"部分为机制说明;0 的具体判定位置未逐个读 RescoreVectorBuilder 代码;图 4 的两次查询已在本地 9.4.2 单节点实例上执行(0 通过、-1 被拒);是否同时作用于 Query DSL 与 ES|QL 未逐个确认,已在正文标注。

目录
相关文章
|
云栖大会 开发者
收到阿里云【乘风者计划】博主证书和奖励
收到阿里云【乘风者计划】博主证书和奖励 2023年2月对我来说是一个很好的开端,因为我在1号就收到了阿里云寄给我的【乘风者计划】博主证书和奖励。好兆头啊! 我收到的是我获得的【技术博主】【星级博主】【专家博主】三个的奖品和证书,一快给我寄过来哒!
3544 2
收到阿里云【乘风者计划】博主证书和奖励
|
29天前
|
固态存储 Java 测试技术
Elasticsearch 6.0.0本地单机16核32G压测报告
Elasticsearch 6.0.0本地单机16核32G压测报告
142 28
|
29天前
|
存储 Linux API
VMware vSphere 9.1.1(包含戴尔、浪潮、联想、惠普等自定义ESXI)
VMwarevSphere9是一套业界领先的服务器虚拟化平台,它的核心功能是将一台物理服务器抽象成多台虚拟服务器,从而更高效、灵活地利用硬件资源。VMwarevSphere9.1新功能兼容性ESX虚拟机兼容性硬件版本7(对应ESX4.x及以上)的虚拟机可直接运行;硬件版本4(ESX3.x及更高版本)的虚拟机不再受支持。确有使用需求时,需先把虚拟机兼容性等级提升上来,才能在ESX9.1上启动。ESX客户操作系统兼容性与vSphere9.1搭配的客户机操作系统清单,以Broadcom兼容性指南中ESX9.1的条目为准。
284 1
VMware vSphere 9.1.1(包含戴尔、浪潮、联想、惠普等自定义ESXI)
|
1月前
|
自然语言处理 API
Chapter04_从本体到行动:业务语义如何帮助 Agent 推进销售工作?
本文探讨如何将销售中“客户尚未下订”转化为精准跟进动作,提出以业务语义定义回访任务、Agent协同准备简报、多维度核验执行结果的方法论,助力从洞察到成交的闭环落地。(239字)
118 0
|
3月前
|
存储 安全 算法
【网络安全】数据安全:数据脱敏、数据加密、隐私合规、等保 2.0(附《思维导图》)
本体系构建“2技术+2合规”闭环框架:以数据脱敏(静态/动态)、数据加密(国密算法、全生命周期)为核心技术,依托隐私合规(个保法等)与等保2.0(三级防护)双重约束,覆盖数据采集至销毁全链条,实现“合规驱动、技术落地、持续审计”的系统性数据安全治理。
|
2月前
|
存储 NoSQL Java
【第三部分:第一个 Agent 应用】13. 为 Agent 增加记忆能力:不是记住一切,而是在需要时想起正确的信息
本文围绕 Agent Memory 展开,重点说明记忆并不是简单保存全部历史,而是从对话、任务和工具结果中提取值得长期保留的信息,并在未来任务中按需召回。文章区分当前对话记忆、会话记忆、任务记忆、用户长期记忆、语义记忆、情景记忆、程序性记忆、工作区文件与项目知识,并进一步介绍 Memory Capture、Recall、更新、冲突处理、遗忘、作用域、权限与记忆污染等问题。核心观点是:Memory ≠ History,真正成熟的 Agent 应该记住有价值的信息,并在正确的时机重新进入 Context。
222 0
|
2月前
|
存储 人工智能 开发框架
【新版】阿里云 无影云电脑 产品功能介绍及配置价格表
传统本地PC、物理工作站面临硬件迭代快、算力固定、数据分散难以管控、异地办公设备受限、AI智能体7×24小时持续运行硬件成本高等现实痛点。无影云电脑(Elastic Desktop Service,EDS)是托管式云上虚拟桌面服务,把完整计算机运行环境部署在云端算力底座,计算、存储全部运行在云端,本地终端只负责画面接收、键鼠输入输出,本地终端不会留存业务原始数据,实现数据不落地的安全办公模式。产品分为个人版、企业版两大产品线,覆盖个人学习办公、远程开发、图形设计渲染、企业批量办公、AI智能体云端工位、RPA自动化等多元场景,底层搭载自研ASP自适应流化协议,兼顾画面流畅度与网络弱网适配能力,配
625 0
★色盲悖论正解!
假设:有一个人,他有一种奇怪的色盲症。他看到的两种颜色和别人不一样,他把蓝色看成绿色,把绿色看成蓝色。   但是他自己并不知道他跟别人不一样,别人看到的天空是蓝色的,他看到的是绿色的,但是他和别人的叫法都一样,都是“蓝色”;小草是绿色的,他看到的却是蓝色的,但是他把蓝色叫做“绿色”。
6723 0
|
开发工具
新人乘风者礼品兑换指南
仅限2023年11月15日(含11月15日)后入驻博主用于兑换礼品,此前完成入驻的博主按原邮寄方式进行。
5049 9
|
开发者
乘风者之星来啦!发文享阿里内推机会和50W流量曝光!
乘风者计划特推出乘风者每周之星活动,期待各位博主的参与,成为“每周之星”,上榜者可获得官方流量扶持
19124 3
乘风者之星来啦!发文享阿里内推机会和50W流量曝光!

热门文章

最新文章