亿级向量检索月费最高省约76%!阿里云 Milvus EAGLE 磁盘索引对比实测

简介: 阿里云Milvus EAGLE内核采用磁盘索引优化,1亿向量仅需单机32CU容量型实例(6752元/月),Laion 100M测试中每万元月成本达2183 QPS,为竞品的3.4~34倍,且召回率98.56%更高,兼顾高性能与低成本。

亿级向量的成本压力,为什么先落在内存上

全内存索引适合追求极致查询性能的业务。原文使用 BioASQ 10M、Cohere 768D 10M 数据集,展示了性能型实例 AUTO INDEX 在 TopK=10 和 TopK=100 下的表现,并给出了以每月 1,000 美元为基准的对比。它说明,选择索引时需要同时比较吞吐、召回率与预算。

数据从千万条增长到亿级,内存需求会随数据和索引规模增加。内存在系统成本中占比较高,如果继续按全内存方式扩容,预算往往也要随之提高。原文以十倍数据增长说明这种压力,实际账单仍取决于向量维度、量化方式、索引结构和实例配置。

磁盘索引把主要数据放到 SSD,再用内存承载检索需要的紧凑表示和结构,从而减少对大容量内存的依赖。DiskANN 便是这一路线的代表。阿里云 Milvus 在容量型集群、容量型单机实例的 AUTO INDEX 中提供了 EAGLE 的相关优化,让亿级向量能够在容量型资源配置上获得更好的检索效率。

第一笔账,包月价格比参测竞品低约25%~76%

原文的 Laion 100M 测试使用 1 亿条向量。阿里云方案选择单机容量型 32CU 实例,计算费用目录价为 6,752 元/月。下面这张图给出了它与五款商业化竞品参测配置的价格对比。


图1 原文包月价格对比,单位为元/月。竞品名称沿用原文匿名编号。

参测方案

图示包月价格(元/月)

价格约为阿里云方案的倍数

选择阿里云方案每月少支出(元)

相对该竞品节省比例

阿里云 Milvus

6,752

1.00

0

基准

竞品4

9,004

1.33

2,252

25.0%

竞品3

11,560

1.71

4,808

41.6%

竞品2

14,600

2.16

7,848

53.8%

竞品5

24,651

3.65

17,899

72.6%

竞品1

28,534

4.23

21,782

76.3%

即使与图中价格最接近的竞品4相比,阿里云方案每月也少支出 2,252 元,约低 25%。与竞品1相比,每月差额为 21,782 元,约低 76.3%。若把这份月费差额按 12 个月作简单预算折算,差额分别约为 2.7 万元和 26.1 万元;这里未计入年付折扣和价格变化。

这些差额对应图中参测配置的价格。它们能用于理解本次测试的预算差异,不能直接替代所有生产规格、地域或采购方式下的报价。

第二笔账,每万元月成本可得QPS最高约为竞品34倍

单看月费,还无法判断一套检索系统值不值得买。月费更低,如果吞吐也更低,业务仍然可能需要购买更多资源。把月费和吞吐放在一起,才能看到同一份预算实际支撑的查询能力。

原文采用的指标为每万元月成本可得 QPS,计算方式为 QPS ÷ 月成本(元)× 10,000。数值越高,表示单位预算对应的查询吞吐越高。


图2 原文每万元月成本可得 QPS 对比。它是按月成本归一化的吞吐指标,并非购买任意金额资源后的线性扩容承诺。

参测方案

图示每万元月成本可得 QPS

阿里云方案约为该方案的倍数

阿里云 Milvus

2,183

1.0

竞品4

642

3.4

竞品2

493

4.4

竞品3

240

9.1

竞品1

121

18.0

竞品5

65

33.6,约34

阿里云 Milvus 的单位预算吞吐,与图中最接近的竞品4相比约为 3.4 倍,与竞品5相比约为 34 倍。这里的“最高约34倍”,具体指本次测试中每万元月成本可得 QPS 的比值。

这项优势来自价格和吞吐两端。Laion 100M、TopK=100 测试中,阿里云 Milvus 的实际吞吐为 1,474.5 QPS,五款竞品约为 159.0~720.1 QPS。阿里云方案以更低的图示月费获得了更高的吞吐,两项因素共同拉大了性价比差距。

原图对归一化数值作了取整,本文沿用图示数字,倍数取近似值。每万元月成本可得 QPS 也不等同于每万次请求费用,后者还取决于实际请求量、资源利用率和完整账单。

EAGLE怎样把磁盘索引做得更省、更快

磁盘索引的资源优势,需要查询效率来支撑。EAGLE 将 DiskANN 与 RaBitQ 量化结合,并优化图结构的布局,从内存占用和磁盘访问两方面减少查询开销。

量化让内存里的向量表示更紧凑。EAGLE 使用 1 bit、4 bit 等量化方式;以 FP32 的每维 32 bit 为参照,1 bit 编码的向量表示体积可压到约 1/32,4 bit 编码则约为 1/8。这是向量表示本身的理论体积比例,整台实例还需要索引、缓存及其他运行内存。

图结构布局优化则改善磁盘访问的局部性,让原本分散的随机读尽量集中为更连续的读取。一次检索需要等待的磁盘访问减少,SSD 的性能也就更容易转化成有效吞吐。

原文引用了此前磁盘索引优化相对开源实现的结果,吞吐提升 20 倍以上,P99 延迟降至原来的 1/10 以下,QueryNode 内存进一步减少 29%,召回率保持在 98% 以上。这组数据说明了内核优化的收益,比较对象是开源实现;前面“约3.4~34倍”的比较对象则是商业化参测竞品,两组结果属于不同测试口径。

对成本而言,紧凑的向量表示可以减轻内存需求,磁盘访问优化可以提高单套资源的查询吞吐。具体能缩减多少生产资源,仍应按业务的延迟、召回率和峰值负载验证。

原文还强调,EAGLE 在兼容 Milvus 开源生态的基础上优化。已有 Milvus 用户可以围绕熟悉的生态评估容量型方案,减少改用另一套技术体系所需的适配工作;原文未提供迁移与适配成本的量化结果。

低成本也要守住召回率,百万TopK同样有价值

性价比需要建立在检索质量之上。在原文 Laion 100M、TopK=100 测试中,阿里云 Milvus 的召回率为 98.56%,高于五款参测竞品的约 94.48%~97.27%。这份结果同时给出了较低月费、较高吞吐和较高召回率。

大 TopK 则关系到另一类任务。提取训练集、测试集等场景,一次需要返回的结果可能达到百万级。原文在 TopK=1,000,000 时,阿里云 Milvus 的召回率为 97.53%,P99 为 3.53 秒;两款可完成测试的竞品,召回率分别为 96.16% 和 91.01%,P99 分别为 4.92 秒和 3.59 秒。

相对其中一款竞品,阿里云方案的召回率高 6.52 个百分点。在百万条目标近邻的口径下,相当于约多找回 6.52 万条结果;相对两款竞品,P99 延迟最高低约 28%。其余参测竞品未能在该 TopK 下完成查询。

原文说明,大 TopK 优化通过 collection 属性开关开启,无需重建索引、无需重新加载,也不影响小 TopK 性能。对于同时承担在线查询和大批量结果提取的业务,这减少了切换检索方式时的索引重建与加载工作。原文没有量化这部分运维费用,不能据此再叠加一个成本降幅。

怎样判断这份性价比是否适合自己的业务

原文使用开源基准工具 Zilliz VectorDBBench。阅读这些数字时,需要保留它们的测试条件。常规 TopK=100 的 QPS 使用 80 并发;P99 串行延迟在 1 连接、单线程条件下独立测量,阿里云结果为 9.6 毫秒,不能把它与 1,474.5 QPS 当成同一并发运行同时取得的成绩。原图还注明,竞品3的 QPS 来自充分预热状态,其冷启动首次查询耗时为 17.6 秒。

评估自己的业务时,可以沿用原文提出的检查方法。

  • 用暴力检索得到的真实近邻计算召回率,避免用近似答案自我验证。
  • 同一阶段的召回率、QPS、参数与并发保持一致;独立测量的延迟单独标注。
  • 对齐数据集、维度、TopK、索引类型、搜索参数、引擎版本、实例规格及副本数。
  • 在不同规模与负载下复测,并记录缓存命中、预热和冷启动条件。
  • 将计算、存储及其他适用费用放进完整预算,再判断满足业务要求的资源配置。

在本文引用的亿级向量测试里,EAGLE 磁盘索引已经展示了清楚的预算优势。阿里云还在原文中预告了面向十亿级以上向量的分层存储型集群路线。这属于后续规划,本文的 6,752 元/月和最高约 34 倍结论,均来自已经展示的容量型实例测试。

最后

向量检索"能用就行"的时代结束了,接下来的竞争,是在召回率不退让的前提下,把性能和成本同时逼到极限。而在比谁更强之前,要理解向量检索的三角形:吞吐、召回率、成本。当我们把框架和算法优化到极致的情况下,在向量检索三角形上结合自己的业务选择最合适的产品,才是明智之举。

内存装得下的时候最快,内存装不下的时候还是最快,这是阿里云 Milvus Eagle 1.0 内核交出的答案,我们把它放在这里,也把尺子放在这里,欢迎大家来实测重现。

目录
相关文章
|
2月前
|
存储 人工智能 算法
阿里云 Milvus 自研内核 EAGLE 发布:向量检索的SOTA,我们决定自己造
阿里云Milvus全新自研内核EAGLE发布:在全内存场景和内存磁盘混合场景下,性能与性价比双突破。实测吞吐领先、P99延迟大幅降低。完全开源可复现,拒绝“拼凑式” benchmark——真性能,经得起物理规律与真实业务检验。
450 5
|
SQL 关系型数据库 分布式数据库
PostgreSQL 在线修改数据类型 - online ddl 方法之一
标签 PostgreSQL , online ddl , trigger , ddl 事务 背景 有张表的主键id是serial,但现在不够了,需要升级成bigserial,有什么优雅的方法吗?我看下来好像会锁表很久(因为数据量挺大) 如果直接alter table,由于数据类型从4字节改成了8字节,而tuple结构是在METADATA里面的,不是每行都有,所以DEFORM需要依赖METADATA,目前来说,这种操作需要rewrite table。
5137 0
|
11月前
|
存储 自然语言处理 测试技术
一行代码,让 Elasticsearch 集群瞬间雪崩——5000W 数据压测下的性能避坑全攻略
本文深入剖析 Elasticsearch 中模糊查询的三大陷阱及性能优化方案。通过5000 万级数据量下做了高压测试,用真实数据复刻事故现场,助力开发者规避“查询雪崩”,为您的业务保驾护航。
2811 89
|
2月前
|
人工智能 缓存 API
通义千问大模型完整解析:模型能力拆解、技术优势、行业实践与选型计费指南与成本选型参考
随着大模型产业进入规模化落地阶段,通用大模型不再只追求跑分榜单的数字,更看重真实业务场景的适配能力、成本可控性、生态完整性与合规保障。通义千问作为完全自主研发的通用大模型体系,依托达摩院技术沉淀,构建起覆盖旗舰大模型、均衡通用模型、高速轻量模型、代码专项模型、全模态多感官模型的完整产品矩阵,面向开发者、中小企业、大型企业提供云端API调用、模型微调、私有化部署、开源本地运行等多种使用路径,已经广泛应用在软件开发、政务办公、金融法务、电商运营、教育科研等众多领域。本文将完整梳理通义千问全系列模型的能力边界,剖析底层技术带来的核心优势,解析不同行业的落地实践,同时给出选型判断逻辑与计费定价参考,附
963 2
|
3月前
|
人工智能 监控 安全
OpenAI都开始给AI“踩刹车”了,2027届测试开发校招生反而应该加速?
OpenAI罕见为安全“踩刹车”,暂停前沿模型训练——因AI能力增速已超安全与测试体系承载力。这标志AI正从“能否做到”迈入“敢不敢用”的工程化新阶段,AI测试工程师迎来关键机遇。
|
3月前
|
人工智能 Java API
本体相关的开源项目有哪些?从 Ontology 到 Knowledge Graph,再到 AI Agent
本文深入探讨“本体(Ontology)”在AI新时代的核心价值,聚焦其如何为Agent构建可理解、可推理的业务世界模型。梳理12个关键开源项目(如Protégé、Owlready2、Ontop、Graphiti等),覆盖本体建模、知识图谱、虚拟图谱、LLM驱动构建与Ontology-RAG等前沿方向,揭示Ontology正从学术概念跃升为AI Agent的“业务操作系统”。
2624 1
|
4月前
|
人工智能 分布式计算 Serverless
阿里云 EMR Serverless Spark 全托管 Ray 再进化:加速构建全模态数据处理新基建
阿里云 EMR Serverless Spark + Ray 双引擎构建全模态数据处理的新基建,通过极致内核优化和统一数据、算力底座,彻底打通了大数据工程与 AI 模型训练的割裂。结合 RayData、Daft、Data-Juicer 等多模态引擎,以及 CPFS、OSS 等高性能存储生态,阿里云正在为全球的 AI 开发者提供一套最具竞争力的数据新基建。
751 0
阿里云 EMR Serverless Spark 全托管 Ray 再进化:加速构建全模态数据处理新基建
|
2月前
|
人工智能 分布式计算 Serverless
EMR Serverless Daft 算子市场免费公测|10分钟极速实战(附视频教程)
Daft 算子市场公测来了!开箱即用的 AI 算子,覆盖 视频 / 图片 / 文本 / 音频 四大场景,搭配 Qwen3.7 大模型,零成本跑通 AI 数据处理全流程。 以训练一个能理解厨房操作的智能机器人为例,我们通常需要采集数千小时由人类佩戴摄像头拍摄的操作视频。然而,当这些视频被解码后,往往会膨胀为数亿张图像帧。更棘手的是,原始数据中充斥着静止画面、模糊镜头和无效空帧等海量“噪音”。如何从这些冗余信息中高效提取出高质量训练样本,已成为多模态技术发展的核心瓶颈。 本次实战将带您深入这一典型场景,借助 Daft 算子市场,一步步拆解并跑通从视频抽帧、数据清洗到高质量样本提取的完整链路。
356 0
|
Linux Docker 容器
CentOS7使用阿里源安装最新版Docker
CentOS7使用阿里源安装最新版Docker
11427 0

热门文章

最新文章