推荐的向量检索服务

简介: 推荐使用的向量检索服务DashVector。

向量检索服务 DashVector 免费试用进行中,玩转大模型搜索,快来试试吧~

了解更多信息,请点击:https://www.aliyun.com/product/ai/dashvector


向量检索服务基于阿里云自研向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态 AI 搜索等多种应用场景上集成。


简单灵活,开箱即用的 SDK 接口

极简代码迅速实现向量管理

向量插入

import dashvector

# 创建Collection
dashvector_client = dashvector.Client(api_key='YOUR_API_KEY', endpoint='YOUR_CLUSTER_ENDPOINT')
dashvector_client.create(name='quickstart', dimension=4)

# 向量入库
collection = dashvector_client.get('quickstart')
collection.insert([
    ("A", [0.1, 0.2, 0.3, 0.4]),
    ("B", [0.2, 0.3, 0.4, 0.5]),
    ("C", [0.3, 0.4, 0.5, 0.6])
])


相似向量查询

import dashvector

# 创建Client,获取collection
dashvector_client = dashvector.Client(api_key='YOUR_API_KEY',endpoint='YOUR_CLUSTER_ENDPOINT')
collection = dashvector_client.get('quickstart')

# 相似向量查询 
collection.query(
    vector=[0.1, 0.2, 0.3, 0.4]
)

#  使用过滤条件查询 
collection.query(
    vector=[0.1, 0.2, 0.3, 0.4],
    topk=100,
    filter='age>18',                # 条件过滤,仅对age > 18的Doc进行相似性检索
    output_fields=['name', 'age'],  # 仅返回name、age这2个Field
    include_vector=True
)

产品优势

多维度高精度

依据不同数据维度和分布选择不同算法或算法组合,根据具体场景需求实现精度和性能之间的平衡。


高性能低成本

通过与分布式调度引擎的结合离线数据检索和训练,实现在有限成本下获得最大化性能并满足业务需求。

超大规模索引和检索

引入复合检索算法,精于工程实现和算法优化,低成本实现高效率的检索方法,单片索引可达几十亿的规模。

多场景适配

结合超参调优和复合索引等方法,解决数据场景智能适配问题,提高系统的自动化能力,增强用户的易用性。


产品功能

全托管高效向量检索云服务

  • 极简 SDK 功能设计通过简洁易用的 SDK/API 接口透出,方便被上层 AI 应用迅速集成。立即体验
  • 降低运维成本全托管、云原生的向量检索云服务,提供水平和垂直拓展能力,只需关注业务使用,降低运维成本。了解详情
  • 高精度高效检索自研高效查询算法,实现大规模数据低延迟查询,给与客户良好的查询体验。了解详情


向量数据实时索引

  • 流式构建向量检索服务采用扁平化的索引结构,支持在线大规模向量索引从 0 到 1 的流式构建。
  • 实时在线更新当向量发生新增、删除、修改后,向量状态即时生效,实现了向量即增即查、即时落盘以及向量实时动态更新。
  • 海量数据快速索引采用多种方式优化索引结构和加载方式,支持 2-20000 维度大规模向量快速导入。


条件过滤查询

  • 支持自定义 Schema条件过滤时,用预先定义的 Field 将会有更快的检索速度和更少的算力开销。了解详情
  • 支持多种表达式过滤支持 6 种比较运算符、and 和 or 逻辑运算符以及 like 字符串运算符,满足向量+条件过滤组合查询。了解详情


关键词感知 Sparse Vector

  • 两路召回、综合排序具备关键词检索、向量检索、关键词 + 向量混合检索的优势,且可大幅降低系统复杂度。数据统一、检索效率高。了解详情
  • Sparse Vector 生成工具向量检索服务推荐使用 DashText 进行稀疏向量编码。了解详情


应用场景

电商智能搜索和偏好推荐场景

在电商智能搜索和偏好推荐场景中,向量数据库可以实现基于向量相似度的搜索和推荐功能。例如一个电商平台中包含了各种商品的图像和描述信息,用户在搜索商品时,可以通过图像或者描述信息查询相关的商品,并且还希望能够实现推荐功能,自动向用户推荐可能感兴趣的商品。

用户只需要先将商品的图像和描述信息使用Embedding技术转换为向量表示,并将其存储到向量数据库中。当用户输入查询请求时,向量检索服务可以将其转换为向量表示,然后计算查询向量与向量数据库中所有商品向量的相似度,然后返回相似度最高的几个商品向量。另外,还可以基于用户的历史行为和偏好通过向量检索服务将用户的历史浏览记录和购买记录转化为向量表示,并在向量数据库中查询与该向量最相似以及相似度较高的商品向量,为用户推荐可能感兴趣的商品,提供更加智能和个性化的服务更加高效和优秀的性能与购买体验


自然语言处理等AI问答系统场景

问答系统是属于自然语言处理领域的常见现实应用。典型的问答系统比如通义千问、ChatGPT、在线客户服务系统、QA聊天机器人等。例如在一个问答系统,其中包含了一些预定义的问题和对应的答案。用户希望能够根据输入的问题,自动匹配到最相似的预定义问题,并返回对应的答案。为了实现功能,首先可以通过向量检索服务将预定义的问题和答案转换为向量表示,并将其存储到向量数据库中。其次当用户输入问题时,向量检索服务可以将其转换为向量表示,并在向量数据库中查询与该向量最相似的问题向量。然后使用模型训练、问答推理、后期优化等步骤,实现类似通义千问、ChatGPT等的语言智能交互体系。


图库类网站多模态搜索场景

当前大型的图片素材网站和分享社交应用等,通常都有几亿甚至上百亿的图片量,只能提供简单的文字搜索或者单一的图片搜索方式,用户无法快速地找到所需的图片。而使用DashVector向量检索服务,将图片内容和文本描述以向量形式表示,并将其存储到向量数据库中。当用户搜索时,支持以文搜图,图搜图以及文字+图片组合搜索精确过滤等多种模态的搜索模式,将搜索需求也通过向量表示,在向量数据库中进行相似搜索,帮助用户迅速找到想要的图片,从而提升用户体验。

视频检索场景

在视频检索场景中,例如视频监控系统、影视资源网站、短视频应用等平台,其中包含了各种视频数据。使用向量检索服务通过将视频数据转换为向量表示,并将其存储到向量数据库中。当用户看到一个电影片段或频频截图时,使用视频相似性搜索系统进行基于内容向量的视频检索,从而快速检索出与查询视频最相似的视频,并返回给用户作为搜索结果。同时还可以在向量数据库中使用基于聚类的视频检索方法,对视频进行聚类,并在聚类之间进行快速检索,提高检索效率和准确度。


分子检测与筛选场景

在分子检测中,可以使用分子指纹(例如ECFP、MACCS键等)将分子结构转换为向量表示,并将其存储到向量数据库中。当用户输入查询请求时,可以使用同样的方法将其转换为向量表示,并在向量数据库中查询与该向量最相似的分子向量,并返回给用户作为搜索结果,实现基于分子结构相似度的分子检索和筛选。为分子发现和药物设计提供更加智能和高效的解决方案。



免费体验阿里云高性能向量检索服务https://www.aliyun.com/product/ai/dashvector



相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
4月前
|
自然语言处理 算法
向量检索服务的优缺点
使用向量检索服务的好处是它可以将文本信息转化为向量表示,并进行相似度计算。这使得能够高效地搜索与查询进行语义匹配的文本
607 3
|
4月前
|
人工智能 自然语言处理
开通向量检索服务
开通向量检索服务
26 2
|
4月前
|
人工智能 Cloud Native API
向量检索服务DashVector的体验
向量检索服务DashVector的体验
109 2
|
4月前
|
人工智能 大数据 API
阿里云向量检索服务测评
在当今的大数据时代,向量检索技术已成为处理海量数据、实现高效信息检索的重要手段。阿里云作为国内领先的云计算服务提供商,推出了自己的向量检索服务。本文将对阿里云的向量检索服务进行深入的测评,探讨其在语义检索、知识库搭建、AI多模态搜索等场景的最佳实践,并分析其与其他向量检索工具的优劣。
648 1
|
4月前
|
人工智能 自然语言处理 算法
向量检索服务
向量检索服务
126 9
|
3月前
|
开发工具 数据库 git
向量检索服务体验评测
通过一个实用的例子带你全方位了解向量检索服务DashVector
120255 4
|
4月前
|
人工智能 Java API
如何快速使用向量检索服务DashVector?
本文将介绍如何快速上手使用向量检索服务DashVector。
|
4月前
|
编译器 API 开发工具
向量检索服务体验
根据阿里云发布的阿里云自研的向量引擎 Proxima 内核,进行综合体验。
34 0
|
4月前
|
人工智能 Cloud Native API
向量检索服务评测
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态 AI 搜索等多种应用场景上集成。
349 1
|
4月前
|
自然语言处理 开发工具 索引
向量检索服务——关键词感知检索详解
向量检索服务DashVector同时支持Dense Vector(稠密向量)和Sparse Vector(稀疏向量),前者用于模型的高维特征(Embedding)表达,后者用于关键词和词频信息表达。DashVector可以进行关键词感知的向量检索,即Dense Vector和Sparse Vector结合的混合检索。