向量检索服务

简介: 向量检索服务

一、阿里云向量检索服务概述

向量检索服务DashVector基于通义实验室自研的高效向量引擎Proxima内核,提供具备水平拓展能力的云原生、全托管的向量检索服务。DashVector将其强大的向量管理、向量查询等多样化能力,通过简洁易用的SDK/API接口透出,方便被上层AI应用迅速集成,从而为包括大模型生态、多模态AI搜索、分子结构分析在内的多种应用场景,提供所需的高效向量检索能力。

二、向量检索服务优势

多维度高精度

依据不同数据维度和分布选择不同算法或算法组合,根据具体场景需求实现精度和性能之间的平衡。

高性能低成本

通过与分布式调度引擎的结合离线数据检索和训练,实现在有限成本下获得最大化性能并满足业务需求。

超大规模索引和检索

引入复合检索算法,精于工程实现和算法优化,低成本实现高效率的检索方法,单片索引可达几十亿的规模。

多场景适配

结合超参调优和复合索引等方法,解决数据场景智能适配问题,提高系统的自动化能力,增强用户的易用性。

三、阿里云向量检索服务实践

DashVector x 通义千问大模型:打造基于专属知识的问答服务

通过向量检索将匹配过程转化为语义搜索,让提取相关知识点就会变得简单而高效。

image-20240114120857236.png

  1. 本地知识库的向量化。通过文本向量模型将其转化为高质量低维度的向量数据,再写入DashVector向量检索服务。这里数据的向量化我们采用了灵积模型服务上的Embedding API实现。

  2. 相关知识点的提取。将提问文本向量化后,通过 DashVector 提取相关知识点的原文。

  3. 构造 Prompt 进行提问。将相关知识点作为“限定上下文+提问” 一起作为prompt询问通义千问。

    1.API-KEY 准备
    开通灵积模型服务,并获得 API-KEY:开通DashScope并创建API-KEY
    开通DashVector向量检索服务,并获得 API-KEYAPI-KEY管理

  4. 环境准备
    需要提前安装 Python3.7 及以上版本,请确保相应的 python 版本。

    pip3 install dashvector dashscope
    
  1. 数据准备

    git clone https://github.com/shijiebei2009/CEC-Corpus.git
    

搭建步骤

  1. 本地知识库的向量化
    在示例中,我们将 Embedding 向量和新闻报道的文稿(作为raw字段)一起存入DashVector向量检索服务中,以便向量检索时召回原始文稿。

image-20240114121627065.png

  1. 知识点的提取
    将 CEC-Corpus 数据集所有新闻报道写入DashVector服务后,就可以进行快速的向量检索。实现这个检索,我们同样将提问的问题进行文本向量化后,再在DashVector服务中检索最相关的知识点,也就是相关新闻报道。

image-20240114121709616.png

  1. 构造 Prompt 向LLM(通义千问)提问
    在通过提问搜索到相关的知识点后,我们就可以将 “提问 + 知识点” 按照特定的模板作为 prompt 向LLM发起提问了。在这里我们选用的LLM是通义千问,这是阿里巴巴自主研发的超大规模语言模型,能够在用户自然语言输入的基础上,通过自然语言理解和语义分析,理解用户意图。可以通过提供尽可能清晰详细的指令(prompt),来获取更符合预期的结果。这些能力都可以通过通义千问API来获得。

    image-20240114121735799.png

具体我们这里设计的提问模板格式为:请基于我提供的内容回答问题。内容是{ },我的问题是{ },当然您也可以自行设计合适的模板。

做好这些准备工作以后,就可以对LLM做与具体知识点相关的提问了

基于DashVector作为向量检索的底座,LLM大模型的知识范畴得到了针对性的扩展,并且能够对于专属的特定知识领域做出正确的回答。

image-20240114121811328.png

可以看到DashVector作为一个独立的向量检索服务,提供了开箱即用的强大向量检索服务能力,这些能力和各个AI模型结合,能够衍生多样的AI应用的可能。

四、总结

向量检索服务具备高性能、全托管、云原生的特性,以及简洁易用的SDK/API接口和丰富的功能支持。在实际应用中,阿里云向量检索服务能够满足大模型知识库搭建、多模态AI搜索等多种应用场景的需求。因此,阿里云向量检索服务是一个值得用户信赖和选择的优秀产品。并且该产品将会不断改进优化,值得用户关注和使用。

目录
相关文章
|
存储 数据库 Python
阿里云向量检索服务 | 全性能搜索方案
【1月更文挑战第13天】阿里云向量检索服务 | 全性能搜索方案
阿里云向量检索服务 | 全性能搜索方案
|
存储 搜索推荐 PyTorch
通义千问7B-基于本地知识库问答
上期,我们介绍了通义千问7B模型的微调+部署方式,但在实际使用时,很多开发者还是希望能够结合特定的行业知识来增强模型效果,这时就需要通过外接知识库,让大模型能够返回更精确的结果。
|
Java 关系型数据库 数据库连接
Spring源码解析--深入Spring事务原理
本文将带领大家领略Spring事务的风采,Spring事务是我们在日常开发中经常会遇到的,也是各种大小面试中的高频题,希望通过本文,能让大家对Spring事务有个深入的了解,无论开发还是面试,都不会让Spring事务成为拦路虎。
591 1
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AgentCPM-Explore开源,4B 参数突破端侧智能体模型性能壁垒
清华、人大、面壁智能与OpenBMB联合推出4B参数智能体模型AgentCPM-Explore,在8大长程任务上实现同尺寸SOTA,性能比肩30B+大模型。支持百轮稳定交互、全流程开源,重塑端侧AI潜能。
615 7
AgentCPM-Explore开源,4B 参数突破端侧智能体模型性能壁垒
|
9月前
|
数据采集 调度 数据库
Python异步编程入门:asyncio让并发更简单
Python异步编程入门:asyncio让并发更简单
390 114
|
2月前
|
Linux KVM 虚拟化
虚拟机使用教程大全(二)
教程来源 https://oplhc.cn/ 虚拟机网络模式深度解析:NAT(共享上网)、桥接(独立局域网身份)、仅主机(宿主隔离通信)、内部网络(纯虚拟机互通)及VMware自定义模式,涵盖原理、配置、端口转发与高级应用,助你精准构建安全高效实验环境。
|
5月前
|
存储 人工智能 缓存
极速、稳定、丝滑:OpenClaw 接入 Mooncake 后的性能跃迁
OpenClaw 不只是更快了,更重要的是更稳了。
|
人工智能 自然语言处理 Cloud Native
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
向量检索服务在语义检索、知识库搭建、AI多模态搜索等场景中有着广泛的应用
3679 0
|
人工智能 弹性计算 自然语言处理
体验Comfyui后迷上了GenAI
《触手可及,函数计算玩转 AI 大模型》解决方案通过阿里云函数计算的无服务器架构,详细介绍了从选择模型模板到部署和调用的全过程。描述清晰,涵盖技术架构、部署步骤和示例代码,适合初学者。建议增加更多场景介绍(有时候用户不知道怎么变现)、常见问题解答和视频教程,以进一步提升用户体验。部署过程中未遇异常,函数计算的按需付费和弹性伸缩优势明显,适用于多种业务场景。建议提供更多性能优化、实际案例和安全合规建议。
442 0
|
机器学习/深度学习 自然语言处理 知识图谱