云上玩转Qwen3系列之四:构建AI Search RAG全栈应用

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: 本文介绍如何利用人工智能平台 PAI-LangStudio、Qwen3 大模型与 AI 搜索开放平台结合 Elasticsearch,构建高效、精准的 AI Search RAG 智能检索应用。通过混合检索技术及 Agentic Workflow 编排,实现自然语言驱动的精准查询,并支持灵活扩展与二次开发,满足多样化场景需求。

本文详细介绍了如何使用人工智能平台 PAI 大模型应用开发 PAI-LangStudio 和 Qwen3,构建基于 AI 搜索开放平台 x Elasticsearch 的 AI Search RAG 智能检索应用。通过使用 AI 搜索开放平台、Elasticsearch 全文检索+向量检索引擎的混合检索技术配合最新发布的 Qwen3 推理模型,编排在一个 Agentic Workflow 中,为用户提供了业内领先的 AI Search RAG 检索应用能力,使用 NLP 自然语言即可实现 AI Search 的精准查询可靠效果。用户可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。


一.实践背景

本文是基于 PAI-LangStudio x AI 搜索开放平台 x ElasticSearch 来构建业内领先且功能强大的一站式 AI Search 智能混合检索 RAG 智能应用方案。下面介绍如何完成场景实操。


二.前提条件

  • 已创建专有网络 VPC、交换机和安全组。具体操作,请参见搭建 IPv4 专有网络创建安全组
  • 登录 PAI 控制台,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。如您尚未创建工作空间,请创建工作空间
  • 登录 AI 搜索开放平台,获取 endpoint 和 API-Key。
  • 登录 Elasticsearch 控制台,创建 Elasticsearch 实例,并进行安全访问配置(如可打开“使用 HTTPS 协议选项以增强安全性)。


三.场景部署步骤


下面介绍如何云上玩转 Qwen3,基于 PAI-LangStudio x AI 搜索开放平台 x Elasticsearch,快速构建 AI Search RAG 全栈应用:


步骤一:在 PAI-LangStudio 中添加模型服务连接:

1. 通过 PAI 控制台>进入 PAI-LangStudio连接模型服务新建连接

2. 选择 “AI 搜索开放平台 Embedding 模型服务”,并填入从 AI 搜索开放平台 获取到的 endpoint 和 api_key,创建模型服务连接:

640 - 2025-07-11T173452.710.png


3. 创建好后,可以在列表页看到刚刚创建的 AI 搜索开放平台 Embedding 模型服务连接:


640 - 2025-07-11T173643.561.png


步骤二:在 PAI-LangStudio 中新建数据库连接:

1. 在 PAI-LangStudio 中,选择“连接”->“数据库”标签后,点击“新建连接”:

640 - 2025-07-11T173730.806.png

2. 填入在 Elasticsearch 控制台 中查看到的 Elasticsearch 实例的地址和用户名、密码(注意如果 Elasticsearch 未开启 HTTPS  连接,此处 url 需要填写 http:// 头)后,点击确定:


640 - 2025-07-11T173904.810.png

此时在连接列表中可以看到刚刚添加的数据库连接:

640 - 2025-07-11T173927.860.png


步骤三:新建 PAI-LangStudio 运行时相关信息

1."运行时"设置确认。在 PAI-LangStudio 中选择“运行时”标签页,点击“新建运行时”,填入必要的信息如:运行时工作路径(选择 OSSbucket 中一个目录)、专有网络、安全组与交换机信息(需要跟 Elasticsearch 所在网络畅通)后点击“确定”:

640 - 2025-07-11T174134.284.png

2. 之后可以在运行时列表中看到该运行时。

640 - 2025-07-11T174202.883.png

步骤四:在 PAI-LangStudio 中创建知识库

1. 在 PAI-LangStudio 中,选择“知识库”标签页,并点击“新建知识库”,选择文档所在 OSS 路径作为“数据源 OSS 路径”,并选择一个“输出 OSS 路径”用来保存文档解析处理中间结果和索引相关信息:

640 - 2025-07-11T174317.793.png

2. 选择 “AI 搜索开放平台 Embedding 模型服务”标签,并选择步骤一中创建的模型服务连接后,可以选择具体支持的 Embedding 模型(其中 001模型 和 002模型维度不同,可用于不同场景选择);选择步骤二中创建的向量数据库连接,并填入一个向量数据库索引名,选择步骤三中创建的运行时后,点击确定:

640 - 2025-07-11T174411.306.png

3. 之后可以在知识库列表中看到刚刚创建的知识库。点击知识库名称后,可以查看知识库概览、文档查看,以及进行召回测试:


640 - 2025-07-11T174508.471.png


4. 在“文档”标签页,可以通过拖拽方式将本地文件上传至 OSS 中:


640 - 2025-07-11T174542.848.png


5. 在文档上传后,点击“更新索引”按钮,在弹出的浮窗中选择网络和安全组资源配置后,点击“确定”,即可开始进行知识库索引的更新:


640 - 2025-07-11T174613.416.png


此时可以看到有一个索引创建的任务在运行中(也可以通过知识库->操作记录查看任务):


640 - 2025-07-11T174650.457.png


等待几分钟后,索引构建完毕。此时刷新文档标签页,可以看到文档从“未索引”状态 变为“已索引”。点击列表中的文档名称,可以看到该文档的分块情况,以及每个文档块的使能与否。通过点击文档分块中的✅标记,也可以对该文档块进行 enable/disable 操作。当文档分块被 disable 后,进行召回时将忽略该文档块:


640 - 2025-07-11T174722.058.png


6. 在 PAI-LangStudio 的知识库中,选择“召回测试”标签,输入问题,设置检索条件(建议 score 阈值在0.5-0.6之间)后,点击“测试”,可以在右侧看到召回结果:


640 - 2025-07-11T174802.899.png


步骤五:在应用流中使用 RAG 知识库

1. 在 PAI-LangStudio 的“应用流”标签点击“新建应用流”,选择“从模板新建” -> “RAG”模板,创建应用流;


640 - 2025-07-11T174908.314.png


之后会自动跳转至应用流界面;


640 - 2025-07-11T175003.122.png


2. 点击“知识库检索”节点,配置检索参数(选择知识库索引,设置 filter);


640 - 2025-07-11T175133.421.png


3. 点击“大模型”节点,配置“模型设置”(选择模型、配置参数、开启/关闭思考);


640 - 2025-07-11T175205.507.png


4. 点击“运行”按钮,输入检索问题后,可以在工作流中的运行框获取检索信息:


640 - 2025-07-11T175237.414.png


由于 Elasticsearch 的混合检索能力,检索准确率大大提升。


步骤六:通过 PAI-LangStudio 部署 EAS 模型服务,支持 API 调用知识库能力

640 - 2025-07-11T175329.740.png

应用流开发调试完成后,单击右上角的部署根据需要选择合适的机型以及专有网络,注意 EAS 实例需要使用与应用流中其他服务实例相同的 VPC,以保证安全和网络连通。点击确定 > 跳转到 PAI-EAS 模型服务查看部署任务。


场景方案价值 - ES + RAG + Agent 应用

在 PAI- LangStudio 中, 使用AI搜索开放平台提供原子化 Embeding/Rerank 模型能力和 Elasticsearch 向量数据库,高效地处理大规模数据,结合大模型 LLM 分析能力,以快速构建一站式 AI Search RAG 增强搜索/混合检索的全栈应用能力。将AI智能信息检索与智能问答效率与准确率大大提升。


通过以上步骤,您可快速使用 PAI-LangStudio 构建基于 AI 搜索开放平台和Elasticsearch 实现 AI Search RAG 应用,满足专业知识库场景需求。


四.更多介绍

本文是基于 PAI-LangStudio x AI 搜索开放平台 x Elasticsearch 来构建业内领先且功能强大的一站式 AI Search 智能混合检索应用解决方案。以下是本方案涉及到的模型与产品介绍:


1.Qwen3

作为 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家 (MOE)模型。基于广泛的训练,Qwen3 在推理、指令跟随、代理能力和多语言支持方面取得了突破性的进展,具有以下关键特性:

  • 独特支持在思考模式(用于复杂逻辑推理、数学和编码)和 非思考模式(用于高效通用对话)之间无缝切换,确保在各种场景下的最佳性能。
  • 显著增强的推理能力,在数学、代码生成和常识逻辑推理方面超越了之前的 QwQ (在思考模式下)和 Qwen2.5 指令模型(在非思考模式下)。
  • 擅长 Agent 能力,可以在思考和非思考模式下精确集成外部工具,在复杂的基于代理的任务中在开源模型中表现领先。可与 PAI-LangStudio 大模型开发平台无缝集成:结合 MCP Server 服务,增强智能数据分析能力
  • 支持 100 多种语言和方言,具有强大的多语言理解、推理、指令跟随和生成能力


2.PAI-LangStudio-大模型应用开发平台

大模型& Agent 应用开发平台(PAI-LangStudio)是依托阿里云 PAI 产品核心能力构建的面向企业级用户的一站式大模型应用开发平台。简化了企业级大模型应用的开发流程,同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力,帮助开发者快速构建端到端的 AI 应用。原生兼容支持通义系列 Qwen 系列大模型。PAI-LangStudio 专注于提供 LLM 全链路开发部署能力,支持发布有状态、多 Agent 的复杂工作流发布部署成 PAI-EAS 模型服务,并在生产环境提供 API 应用服务

参考


3.AI 搜索开放平台

AI 搜索开放平台围绕智能搜索及 RAG 场景,将 AI 搜索链路中用到的算法服务以组件化形式提供,内置文档解析、文档切片、文本向量化、查询分析、召回、排序、效果评估以及 LLM 模型服务,开发者根据自身情况灵活选择组件服务进行搜索业务开发。


4.AI 搜索开放平台-联网搜索

AI 搜索开放平台提供联网搜索功能,支持直接调用联网搜索 API 或调用内容生成服务时启用联网搜索点击前往


5.Elasticsearch 混合检索

阿里云检索服务 Elasticsearch 版(简称ES)结合了 AI 搜索开放平台的组件化模型能力,提供全文检索+向量检索引擎的混合检索技术, 可用于构建高效、精准的复杂语义搜索系统。通过搭建 AI 语义搜索的方法,带用户体验 AI 技术如何提升搜索的准确性和用户体验。


6.RAG 检索增强

随着 AI 技术的飞速发展,生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而,在广泛应用大语言模型(LLM)的过程中,以下固有局限性问题逐渐显现:

  • 领域知识局限:大语言模型通常基于大规模通用数据集训练而成,难以针对专业垂直领域提供深入和针对性处理。
  • 信息更新滞后:由于模型训练所依赖的数据集具有静态特性,大模型无法实时获取和学习最新的信息与知识进展。
  • 模型误导性输出:受制于数据偏差、模型内在缺陷等因素,大语言模型可能会出现看似合理实则错误的输出,即所谓的“大模型幻觉”。


为克服这些挑战,并进一步强化大模型的功能性和准确性,检索增强生成技术 RAG(Retrieval-Augmented Generation)应运而生。这一技术通过整合外部知识库,能够显著减少大模型虚构的问题,并提升其获取及应用最新知识的能力,从而实现更个性化和精准化的 LLM 定制。


五.相关连接


相关文章
|
13天前
|
机器学习/深度学习 人工智能 边缘计算
大模型在医疗领域的应用
🌟蒋星熠Jaxonic,AI开发者,深耕医疗大模型领域。见证代码如何重塑医疗:从影像分析到智能诊断,从药物研发到临床决策。分享技术实践与行业洞察,探索AI赋能健康的时代变革。
大模型在医疗领域的应用
|
4天前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
15天前
|
人工智能 缓存 监控
使用LangChain4j构建Java AI智能体:让大模型学会使用工具
AI智能体是大模型技术的重要演进方向,它使模型能够主动使用工具、与环境交互,以完成复杂任务。本文详细介绍如何在Java应用中,借助LangChain4j框架构建一个具备工具使用能力的AI智能体。我们将创建一个能够进行数学计算和实时信息查询的智能体,涵盖工具定义、智能体组装、记忆管理以及Spring Boot集成等关键步骤,并展示如何通过简单的对话界面与智能体交互。
401 1
|
13天前
|
人工智能 缓存 自然语言处理
Java与多模态AI:构建支持文本、图像和音频的智能应用
随着大模型从单一文本处理向多模态能力演进,现代AI应用需要同时处理文本、图像、音频等多种信息形式。本文深入探讨如何在Java生态中构建支持多模态AI能力的智能应用。我们将完整展示集成视觉模型、语音模型和语言模型的实践方案,涵盖从文件预处理、多模态推理到结果融合的全流程,为Java开发者打开通往下一代多模态AI应用的大门。
167 41
|
15天前
|
存储 人工智能 数据可视化
从零构建能自我优化的AI Agent:Reflection和Reflexion机制对比详解与实现
AI能否从错误中学习?Reflection与Reflexion Agent通过生成-反思-改进循环,实现自我优化。前者侧重内容精炼,后者结合外部研究提升准确性,二者分别适用于创意优化与知识密集型任务。
223 9
从零构建能自我优化的AI Agent:Reflection和Reflexion机制对比详解与实现
|
11天前
|
人工智能 自然语言处理 监控
58_大模型评估与评测:构建科学的多维度评测体系
在大语言模型(LLM)技术飞速发展的今天,如何科学、全面地评估和评测这些模型的能力已成为学术界和工业界共同关注的核心问题。2025年,大模型生态系统呈现出百花齐放的态势,从参数规模、架构设计到应用场景都出现了多样化的发展路径。在这种背景下,单一的性能指标或评测方法已经无法满足对大模型进行全面评估的需求。
113 0
|
11天前
|
存储 运维 监控
57_大模型监控与运维:构建稳定可靠的服务体系
随着大语言模型(LLM)技术的快速发展和广泛应用,如何确保模型在生产环境中的稳定运行、高效服务和安全合规已成为企业和开发者面临的关键挑战。2025年,大模型服务已从实验室走向各行各业的核心业务流程,其运维复杂度也随之呈指数级增长。与传统软件系统不同,大模型服务具有参数规模庞大、计算密集、行为不确定性高等特点,这使得传统的运维监控体系难以满足需求。
|
5天前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
105 12
|
4天前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
86 3
|
15天前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
252 20