向量检索服务 DashVector 免费试用进行中,玩转大模型搜索,快来试试吧~
了解更多信息,请点击:https://www.aliyun.com/product/ai/dashvector
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态 AI 搜索等多种应用场景上集成。
简单灵活,开箱即用的 SDK 接口
极简代码迅速实现向量管理
向量插入
import dashvector # 创建Collection dashvector_client = dashvector.Client(api_key='YOUR_API_KEY', endpoint='YOUR_CLUSTER_ENDPOINT') dashvector_client.create(name='quickstart', dimension=4) # 向量入库 collection = dashvector_client.get('quickstart') collection.insert([ ("A", [0.1, 0.2, 0.3, 0.4]), ("B", [0.2, 0.3, 0.4, 0.5]), ("C", [0.3, 0.4, 0.5, 0.6]) ])
相似向量查询
import dashvector # 创建Client,获取collection dashvector_client = dashvector.Client(api_key='YOUR_API_KEY',endpoint='YOUR_CLUSTER_ENDPOINT') collection = dashvector_client.get('quickstart') # 相似向量查询 collection.query( vector=[0.1, 0.2, 0.3, 0.4] ) # 使用过滤条件查询 collection.query( vector=[0.1, 0.2, 0.3, 0.4], topk=100, filter='age>18', # 条件过滤,仅对age > 18的Doc进行相似性检索 output_fields=['name', 'age'], # 仅返回name、age这2个Field include_vector=True )
产品优势
多维度高精度
依据不同数据维度和分布选择不同算法或算法组合,根据具体场景需求实现精度和性能之间的平衡。
高性能低成本
通过与分布式调度引擎的结合离线数据检索和训练,实现在有限成本下获得最大化性能并满足业务需求。
超大规模索引和检索
引入复合检索算法,精于工程实现和算法优化,低成本实现高效率的检索方法,单片索引可达几十亿的规模。
多场景适配
结合超参调优和复合索引等方法,解决数据场景智能适配问题,提高系统的自动化能力,增强用户的易用性。
产品功能
全托管高效向量检索云服务
- 极简 SDK 功能设计通过简洁易用的 SDK/API 接口透出,方便被上层 AI 应用迅速集成。立即体验
- 降低运维成本全托管、云原生的向量检索云服务,提供水平和垂直拓展能力,只需关注业务使用,降低运维成本。了解详情
- 高精度高效检索自研高效查询算法,实现大规模数据低延迟查询,给与客户良好的查询体验。了解详情
向量数据实时索引
- 流式构建向量检索服务采用扁平化的索引结构,支持在线大规模向量索引从 0 到 1 的流式构建。
- 实时在线更新当向量发生新增、删除、修改后,向量状态即时生效,实现了向量即增即查、即时落盘以及向量实时动态更新。
- 海量数据快速索引采用多种方式优化索引结构和加载方式,支持 2-20000 维度大规模向量快速导入。
条件过滤查询
- 支持自定义 Schema条件过滤时,用预先定义的 Field 将会有更快的检索速度和更少的算力开销。了解详情
- 支持多种表达式过滤支持 6 种比较运算符、and 和 or 逻辑运算符以及 like 字符串运算符,满足向量+条件过滤组合查询。了解详情
关键词感知 Sparse Vector
- 两路召回、综合排序具备关键词检索、向量检索、关键词 + 向量混合检索的优势,且可大幅降低系统复杂度。数据统一、检索效率高。了解详情
- Sparse Vector 生成工具向量检索服务推荐使用 DashText 进行稀疏向量编码。了解详情
应用场景
电商智能搜索和偏好推荐场景
在电商智能搜索和偏好推荐场景中,向量数据库可以实现基于向量相似度的搜索和推荐功能。例如一个电商平台中包含了各种商品的图像和描述信息,用户在搜索商品时,可以通过图像或者描述信息查询相关的商品,并且还希望能够实现推荐功能,自动向用户推荐可能感兴趣的商品。
用户只需要先将商品的图像和描述信息使用Embedding技术转换为向量表示,并将其存储到向量数据库中。当用户输入查询请求时,向量检索服务可以将其转换为向量表示,然后计算查询向量与向量数据库中所有商品向量的相似度,然后返回相似度最高的几个商品向量。另外,还可以基于用户的历史行为和偏好通过向量检索服务将用户的历史浏览记录和购买记录转化为向量表示,并在向量数据库中查询与该向量最相似以及相似度较高的商品向量,为用户推荐可能感兴趣的商品,提供更加智能和个性化的服务、更加高效和优秀的性能与购买体验。
自然语言处理等AI问答系统场景
问答系统是属于自然语言处理领域的常见现实应用。典型的问答系统比如通义千问、ChatGPT、在线客户服务系统、QA聊天机器人等。例如在一个问答系统,其中包含了一些预定义的问题和对应的答案。用户希望能够根据输入的问题,自动匹配到最相似的预定义问题,并返回对应的答案。为了实现此功能,首先可以通过向量检索服务将预定义的问题和答案转换为向量表示,并将其存储到向量数据库中。其次当用户输入问题时,向量检索服务可以将其转换为向量表示,并在向量数据库中查询与该向量最相似的问题向量。然后使用模型训练、问答推理、后期优化等步骤,实现类似通义千问、ChatGPT等的语言智能交互体系。
图库类网站多模态搜索场景
当前大型的图片素材网站和分享社交应用等,通常都有几亿甚至上百亿的图片量,只能提供简单的文字搜索或者单一的图片搜索方式,用户无法快速地找到所需的图片。而使用DashVector向量检索服务,将图片内容和文本描述以向量形式表示,并将其存储到向量数据库中。当用户搜索时,支持以文搜图,图搜图以及文字+图片组合搜索精确过滤等多种模态的搜索模式,将搜索需求也通过向量表示,在向量数据库中进行相似搜索,帮助用户迅速找到想要的图片,从而提升用户体验。
视频检索场景
在视频检索场景中,例如视频监控系统、影视资源网站、短视频应用等平台,其中包含了各种视频数据。使用向量检索服务通过将视频数据转换为向量表示,并将其存储到向量数据库中。当用户看到一个电影片段或频频截图时,使用视频相似性搜索系统进行基于内容向量的视频检索,从而快速检索出与查询视频最相似的视频,并返回给用户作为搜索结果。同时还可以在向量数据库中使用基于聚类的视频检索方法,对视频进行聚类,并在聚类之间进行快速检索,提高检索效率和准确度。
分子检测与筛选场景
在分子检测中,可以使用分子指纹(例如ECFP、MACCS键等)将分子结构转换为向量表示,并将其存储到向量数据库中。当用户输入查询请求时,可以使用同样的方法将其转换为向量表示,并在向量数据库中查询与该向量最相似的分子向量,并返回给用户作为搜索结果,实现基于分子结构相似度的分子检索和筛选。为分子发现和药物设计提供更加智能和高效的解决方案。
免费体验阿里云高性能向量检索服务:https://www.aliyun.com/product/ai/dashvector