基于阿里云 Milvus + DeepSeek + PAI LangStudio 的低成本高精度 RAG 实战

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 阿里云向量检索服务Milvus版是一款全托管向量检索引擎,并确保与开源Milvus的完全兼容性,支持无缝迁移。它在开源版本的基础上增强了可扩展性,能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警,Milvus云服务成为多样化AI应用场景的理想选择,包括多模态搜索、检索增强生成(RAG)、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作,进一步促进应用的快速开发和部署。

引言:为什么手握海量数据,却用不出真正的“智能”?要么AI模型学艺不精,答非所问;要么技术门槛太高,让普通开发者望而却步。现在,使用阿里云Milvus向量检索服务、DeepSeek大模型和PAI LangStudio开发工具,只需像搭积木一样,将其进行简易拼接,就能轻松搭建一套‘能查会想’的RAG系统。接下来将基于阿里云的人工智能平台PAI LangStudio,结合阿里云向量检索Milvus版的强大能力,并以DeepSeek-R1-Distill模型为例,为您详细介绍大模型RAG检索增强解决方案。当然如您需要更高配置的DeepSeek R1模型来满足使用需求,也可以复用以下技术链路来进行实现。


重大优惠:阿里云向量检索服务Milvus版产品全部规格,年付通通5折!


阿里云Milvus+DeepSeek + PAI LangStudio搭建智能问答助手,支持私域知识库和联网功能

Step 1: 创建阿里云 Milvus实例的实例

可根据指引完成创建:https://help.aliyun.com/zh/milvus/getting-started/quickly-create-a-milvus-instance

请注意,Milvus实例和后续通过PAI LangStudio创建的Embedding服务、LLM服务须在相同地域内。


Step 2 : 将RAG知识库上传至OSS中

本文针对金融、医疗场景提供以下示例语料:

  • 金融新闻:数据为PDF格式,主要内容为公开新闻网站上的新闻报道。
  • 疾病介绍:数据为CSV格式,主要内容为维基百科上的疾病介绍。


Step 3 :部署 DeepSeek 模型和Embedding模型

  1. 前往PAI控制台快速开始 > ModelGallery,分别按场景选择大语言模型Embedding分类,并部署指定的模型。本文以DeepSeek-R1-Distill-Qwen-7Bbge-m3 通用向量模型为例进行部署。

image.png image.png

如果您想完整体验DeepSeek模型,请选择DeepSeek-R1或DeepSeek-V3。


  1. 前往任务管理,单击已部署的服务名称,在服务详情页签下单击查看调用信息,分别获取前面部署的DeepSeek大预言模型和Embedding模型服务的VPC访问地址和Token,供后续创建连接时使用。


Step 4 : 创建连接

A. 创建LLM服务连接

  1. 进入LangStudio,选择工作空间后,在连接管理页签下单击新建连接
  2. 创建通用LLM模型服务连接。单击EAS 服务,从弹出的抽屉中选择已部署的服务,会自动填充base_urlapi_key


B. 创建Embedding模型服务连接

创建LLM服务连接,创建通用Embedding模型服务连接。其中base_urlapi_key分别对应部署DeepSeek大语言模型和Embedding模型中Embedding模型的VPC访问地址和Token。


C. 创建向量数据库连接

创建LLM服务连接,创建Milvus数据库连接。


关键参数说明:

  • uri:Milvus实例的访问地址,格式为http://

     您可以在阿里云Milvus控制台的Milvus实例的实例详情页面查看。例如,http://c-b1c5222fba****-internal.milvus.aliyuncs.com

  • token:登录Milvus实例的用户名和密码,填写格式为:
  • database:数据库名称,本文使用默认数据库default


Step 5:创建离线知识库

新建知识库索引,将语料经过解析、分块、向量化后存储到向量数据库,从而构建知识库。

新建知识库索引详细配置请参见:https://help.aliyun.com/zh/pai/user-guide/knowledge-base-index-management


Step 6: 创建并运行RAG应用流

  1. 进入LangStudio,选择工作空间后,在应用流页签下单击新建应用流,模板类型选择RAG,创建RAG应用流。


  1. 启动运行时:单击右上角启动运行时并进行配置。注意:在进行Python节点解析或查看更多工具时,需要保证运行时已启动。

注意专有网络配置:选择创建Milvus实例时的专有网络。


  1. 开发应用流。应用流中的其余配置保持默认或根据实际需求进行配置,关键节点配置如下:
  • index_lookup:在知识库中检索与用户问题相关的文本。
  • registered_index:配置为已创建的知识库索引。
  • query:用户问题。
  • top_k:返回top_k条匹配的数据。
  • generate_answer:使用过滤后的文档作为上下文,与用户问题一起发送给大语言模型,生成回答。
  • connection:选择创建LLM服务连接中创建的连接。
  • model:输入default。connection也可选择的是百炼大模型服务连接。
  • max_tokens:设置最大token数,本例设置为1000。


  1. 调试/运行:单击右上角对话, 开始执行应用流。


  1. 查看链路:单击生成答案下的查看链路,查看Trace详情或拓扑视图。


Step 7: 部署应用流

在应用流开发页面,单击右上角部署,部署参数其余配置保持默认或根据实际需求进行配置,关键参数配置如下:

  • 资源部署信息 > 实例数:配置服务实例数。本文部署仅供测试使用,因此实例数配置为1。在生产阶段,建议配置多个服务实例,以降低单点故障的风险。
  • 专有网络配置 > VPC:配置Milvus实例所在的专有网络。

更多部署详情,请参见https://help.aliyun.com/zh/pai/user-guide/application-flow-deployment


Step 8: 调用服务,进行对话

部署成功后,跳转到PAI-EAS,在在线调试页签下配置并发送请求。请求参数中的Key与应用流中输入节点中的"Chat 输入"字段一致,本文使用默认字段question。输入以下内容

{
    "question":"请根据最新的新闻报道,分析美国科技行业目前投资分管性如何,是否存在泡沫,给出是或否的具体回答"
}

更多调用方式(如API调用)及详细说明,请参见https://help.aliyun.com/zh/pai/user-guide/application-flow-deployment#a6da6114b6zhn


开启联网搜索

如果您希望使用DeepSeek-R1模型,快速构建具备联网搜索与RAG(检索增强生成)功能的智能应用流,可以参见Chatbot with RAG and Web Search


立即体验

我们诚邀您立即体验阿里云向量检索服务Milvus版的强大功能!您只需登录阿里云账号,进入向量检索服务 Milvus 版产品控制台,即可创建阿里云 Milvus 实例,开箱即用。


此外,为回馈新老用户,阿里云Milvus推出了重大优惠:

向量检索服务Milvus版产品全部规格,年付通通5折!


阿里云向量检索服务 Milvus 版,将持续打磨产品,不断优化产品的功能、性能和使用体验,为用户提供更加专业、灵活、高效的向量搜索引擎服务,助力企业轻松应对海量非结构化数据管理挑战,实现业务价值最大化,欢迎大家体验!

目录
打赏
0
1
1
0
109
分享
相关文章
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
Python 高级编程与实战:深入理解数据科学与机器学习
本文深入探讨了Python在数据科学与机器学习中的应用,介绍了pandas、numpy、matplotlib等数据科学工具,以及scikit-learn、tensorflow、keras等机器学习库。通过实战项目,如数据可视化和鸢尾花数据集分类,帮助读者掌握这些技术。最后提供了进一步学习资源,助力提升Python编程技能。
Java机器学习实战:基于DJL框架的手写数字识别全解析
在人工智能蓬勃发展的今天,Python凭借丰富的生态库(如TensorFlow、PyTorch)成为AI开发的首选语言。但Java作为企业级应用的基石,其在生产环境部署、性能优化和工程化方面的优势不容忽视。DJL(Deep Java Library)的出现完美填补了Java在深度学习领域的空白,它提供了一套统一的API,允许开发者无缝对接主流深度学习框架,将AI模型高效部署到Java生态中。本文将通过手写数字识别的完整流程,深入解析DJL框架的核心机制与应用实践。
23 2
云上一键部署通义千问 QwQ-32B 模型,阿里云 PAI 最佳实践
3月6日阿里云发布并开源了全新推理模型通义千问 QwQ-32B,在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,性能比肩Deepseek-R1,且部署成本大幅降低。并集成了与智能体 Agent 相关的能力,够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署 QwQ-32B,本实践带您部署体验专属 QwQ-32B模型服务。
基于QwQ-32B+Hologres+PAI搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于QwQ大模型的RAG服务,并关联Hologres引擎实例。Hologres与达摩院自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时、简单易用的向量计算能力。通过PAI-EAS,用户可以一键部署集成大语言模型(LLM)和检索增强生成(RAG)技术的对话系统服务,显著缩短部署时间并提升问答质量。具体步骤包括准备Hologres向量检索库、部署RAG服务、通过WebUI页面进行模型推理验证及API调用验证。Hologres支持高性能向量计算,适用于复杂任务的动态决策,帮助克服大模型在领域知识局限、信息更新滞后和误导性输出等方面的挑战。
Python 高级编程与实战:深入理解数据科学与机器学习
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化和调试技巧。本文将深入探讨 Python 在数据科学和机器学习中的应用,并通过实战项目帮助你掌握这些技术。
Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于DeepSeek大模型的RAG(检索增强生成)服务,并关联Hologres引擎实例。Hologres与阿里云自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时的向量计算能力。通过PAI-EAS,用户可以一键部署集成了大语言模型和RAG技术的对话系统服务,显著缩短部署时间,并提高问答质量。部署步骤包括准备Hologres向量检索库、部署基于DeepSeek的RAG服务、通过WebUI进行模型推理验证,以及通过API调用进行模型推理验证。Hologres还提供了特色功能支持,如高性能向量计算等。
R1类模型推理能力评测手把手实战
R1类模型推理能力评测手把手实战
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
246 6

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等