对接开源大模型应用开发平台最佳实践

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 本文介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

本文以Dify为例介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。


背景

随着AIGC技术日新月异的发展,LLM应用也在持续迭代。基于LLM、Agent框架、工作流编排能力等,可以搭建不同场景下丰富的应用服务。其中,检索增强生成(RAG)系统已经成为企业知识库、智能客服、电商导购等场景的核心环节。

OpenSearch LLM智能问答版内置数据解析与处理、切片、向量化、文本&向量检索、多模态LLM等模型和功能。本文将介绍如何使用OpenSearch LLM智能问答版对接大模型应用开发平台构建RAG系统。

大模型应用平台

在大模型行业中有越来越多的应用框架、开发平台,比如阿里云百炼、Dify等。开发者可以基于这些框架、平台快速搭建业务应用,RAG系统也是其中的常见环节。因此,大模型应用开发平台通常会内置RAG系统。


阿里云百炼:


Dify:


然而,RAG系统的准确性与搜索效果息息相关,应用开发平台经常会面临以下问题:

1、易用性差:对知识库文档格式、数量、大小等有各种各样的限制,开发者需要进行复杂的数据预处理,或无法满足实际应用的需求。

2、专业性差:大多是黑盒系统,开发者难以针对核心链路进行定制化调优和扩展,导致整体应用效果差。

3、企业级能力弱:不支持企业级权限隔离、数据快速导入/更新等能力,难以落地到实际生产应用中。

针对上述问题,可以使用OpenSearch LLM智能问答版作为RAG系统,应用到工作流程中,快速搭建企业级应用。目前OpenSearch已支持对接百炼中的模型,从而丰富LLM选型,实现定制级RAG效果,具体使用方式可参考:LLM管理

此外,OpenSearch支持丰富的调用、鉴权机制,灵活对接百炼、Dify等应用开发平台。

下面将以Dify为例,介绍对接开源应用平台的最佳实践。

整体架构

开发者预先将知识库导入OpenSearch,并用工作流处理后的对话请求访问OpenSearch中的RAG系统。OpenSearch会基于知识库、LLM,返回对话结果、参考链接、参考图片。开发者再根据业务需求,通过工作流处理结果,并最终输出给终端用户。

在OpenSearch LLM智能问答版中搭建RAG系统

1.搭建RAG系统

OpenSearch LLM智能问答版是一站式RAG产品,可分钟级搭建RAG系统,并可以在控制台进行可视化模型选择、Prompt定制、效果调优等。详情请参见通过控制台实现企业知识库问答

2.创建并获取API Key

创建并获取公网API域名、API Key并妥善保存,详情请参见管理API Key

在应用平台中搭建业务应用

Step 1:在大模型应用平台中创建工作流

基础RAG工作流包含四个环节:

开始:获取用户输入的对话内容。

OpenSearch LLM智能问答版(HTTP请求):将对话内容输入OpenSearch,并基于RAG系统返回输出结果。

解析输出结果(代码执行):解析结果中的对话内容。

返回答案:向用户返回最终结果。

Step 2:使用HTTP请求访问OpenSearch RAG系统

鉴权API-Key:

  • 鉴权类型:API-Key
  • API鉴权类型:Bearer
  • API key:OpenSearch LLM智能问答版中获取的API Key。

URL地址:OpenSearch LLM智能问答版中获取的公网API域名 + OpenSearch接口地址(参考URL:v3/openapi/apps/[app_name]/actions/knowledge-search)

BODY:选择JSON格式,具体的内容和参数可参考:SearchKnowledge-问答文档查询

Step 3:解析输出结果

OpenSearch的接口返回结果为JSON格式,包含对话结果、参考链接、参考图片等。开发者可以使用代码执行解析输出结果,按需获取返回结果。

只获取输出结果的参考代码:

def main(body: str) -> str:
    import json
    dat = json.loads(body)
    return {
        'result': [ans['answer'] for ans in dat['result']['data']][0]
    }

效果预览

在此基础上,可以配合搭建其他工作流,构建丰富的业务应用流。

例如,以下是一个基于OpenSearch、Qwen模型构建的智能对话助手。

首先,会判断用户对话的意图并进行分类,分为售后问题、产品使用问题和闲聊。

针对售后问题、产品使用问题,分别访问OpenSearch中的相应知识库,使用RAG系统进行回复。

对于闲聊类问题,访问Qwen模型与用户进行闲聊对话,解决通用类问题。

除使用一站式RAG产品搭建工作流外,还可使用阿里云AI搜索开发工作台,通过工作台提供的文档解析、向量化、搜索、重排等原子化能力,自定义dify工具,从而快速定制优化RAG系统的各个环节。

相关文章
|
14天前
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
177 2
|
2月前
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5):大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。
|
1月前
|
传感器 边缘计算 人工智能
2025大模型应用平台选型指南:从个人助手到企业级智能体,5大平台场景化拆解
本文深度评测五大主流大模型平台,结合金融、医疗、制造实战案例,解析Open WebUI、Dify、Ragflow、FastGPT与n8n的定位与优势,提供选型决策树与混合架构实例,助你精准匹配业务需求,避开“全能平台”陷阱,实现高效智能化落地。
|
2月前
|
人工智能 缓存 资源调度
云上AI推理平台全掌握 (4):大模型分发加速
为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。
|
2月前
|
弹性计算 关系型数据库 API
自建Dify平台与PAI EAS LLM大模型
本文介绍了如何使用阿里云计算巢(ECS)一键部署Dify,并在PAI EAS上搭建LLM、Embedding及重排序模型,实现知识库支持的RAG应用。内容涵盖Dify初始化、PAI模型部署、API配置及RAG知识检索设置。
自建Dify平台与PAI EAS LLM大模型
|
8天前
|
人工智能 数据可视化 前端开发
AI Ping:精准可靠的大模型服务性能评测平台
AI Ping是清华系团队推出的“大模型服务评测平台”,被誉为“AI界的大众点评”。汇聚230+模型服务,7×24小时监测性能数据,以吞吐量、延迟等硬指标助力开发者科学选型。界面简洁,数据可视化强,支持多模型对比,横向对标国内外主流平台,为AI应用落地提供权威参考。
121 3
|
7天前
|
监控 数据可视化 Linux
LangSmith:大模型应用开发的得力助手
LangSmith 是大模型应用开发的高效助手,提供从调试、追踪到评估的全流程支持。通过可视化追踪树,清晰展现 LLM 应用每一步执行逻辑,提升可观察性;支持提示词优化、实时监控与自动化评估,助力开发者快速定位问题、迭代优化,构建稳定可靠的智能应用。
54 0
LangSmith:大模型应用开发的得力助手
|
16天前
|
人工智能 云栖大会
2025云栖大会大模型应用开发与部署|门票申领
2025云栖大会大模型应用开发与部署门票申领
|
6月前
|
人工智能 自然语言处理 机器人
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
192 0