自建Dify平台与PAI EAS LLM大模型

简介: 本文介绍了如何使用阿里云计算巢(ECS)一键部署Dify,并在PAI EAS上搭建LLM、Embedding及重排序模型,实现知识库支持的RAG应用。内容涵盖Dify初始化、PAI模型部署、API配置及RAG知识检索设置。

上次我们使用RDS与Dify快速搭建,这次我们将使用计算巢(on ECS)一键搭建Dify,然后在PAI的EAS上搭建LLM。需要注意的是,如果我们希望使用知识库,我们除了搭建LLM模型,需要Embedding模型用于知识库的检索,最后还需重排序模型rerank来优化文本嵌入和排序任务。

创建Dify - 计算巢

直接控制台找到Dify社区版一键部署。
dify1
等待部署完成后,点击服务实例并查看公网IP,可以看到是x.x.x.x/install进行初始化设置。
dify2

创建PAI EAS

LLM

直接到PAI EAS部署服务,并选择LLM大语言模型部署。
3-pai
你可以在以下方式看到API的密钥调用地址:
4-pai

当然如果你PAI EAS部署服务直接选择RAG部署,他同样有两种方式,一种是一体化部署RAG+LLM(PoC部署),另一种是RAG Only, 需要接入LLM API来实现。

Embedding

搜索的部署,直接去到Model Gallery里面找到Embedding,我这里选择bge-m3模型来部署。部署完成后,在EAS可以看见。
5-pai
我们这里选择服务独立流量入口,并复制下来。
6-pai
注意的是如果我们总流量入口是

http://xxxxxxx.eu-central-1.pai-eas.aliyuncs.com/api/predict/embedding

在部署设置的时候,我们还填写了一个名字,那么服务独立流量入口则是

# https://xxxxxxx.eu-central-1.pai-eas.aliyuncs.com/api/predict/embedding.你的名字
https://xxxxxxx.eu-central-1.pai-eas.aliyuncs.com/api/predict/embedding.quickstart_deploy_20250711_abcd

PAI EAS在线调试

参考:
一键部署DeepSeek-V3、DeepSeek-R1模型
5分钟使用EAS一键部署LLM大语言模型应用
在模型在线服务(EAS)页面,单击目标服务操作列下的在线调试。

发送POST请求。根据采用的部署方式,填写相应的请求地址和请求体,然后单击发送请求。

请求接口:.../v1/chat/completions

请求体示例如下:

{
   
    "model": "Qwen2.5-7B-Instruct",
    "messages": [
        {
   
            "role": "system",
            "content": "You are a helpful assistant."
        }        
        {
   
            "role": "user",
            "content": "What is the capital of Canada?"
        }
    ]
}

Dify - 填写API

如下图,我们搜索OpenAI-API-compatible工具并安装。
7-dify
8-dify
然后添加模型,需要注意的是,我们需要在结尾添加/v1

# LLM
https://xxxxxxx.eu-central-1.pai-eas.aliyuncs.com/api/predict/llm/v1

# Embedding
https://xxxxxxx.eu-central-1.pai-eas.aliyuncs.com/api/predict/embedding.quickstart/v1

模型的名称请根据实际名称来,我们可以通过EAS点击更新,查看实际名称,也可以通过服务配置找到类似表明模型名称(不同的模型的model name叫法不一样,比如RootModelName:bge-m3, system_eas_llm_open_source_model_name: Qwen3-7B)。一般来讲就是模型的英文名字。

后续可以通过Model Gallery添加重排序模型(rerank)来优化我们的模型。

添加模型完毕后,还需要在系统模型设置,设置默认模型。
9-dify

Dify RAG 知识检索

Dify知识库使用

知识检索添加方式:在设置上下文中添加
10-dify
然后在系统提示词中添加对应描述。使用"/"来使用变量选项,会弹出选择框让你选择变量。
11-dify

本次教程结束。

相关文章
|
13天前
|
机器学习/深度学习 数据采集 人工智能
通义实验室Mobile-Agent-v3开源,全平台SOTA的GUI智能体,支持手机电脑等多平台交互
近日,通义实验室MobileAgent团队正式开源全新图形界面交互基础模型 GUI-Owl,并同步推出支持多智能体协同的自动化框架 Mobile-Agent-v3。该模型基于Qwen2.5-VL打造,在手机端与电脑端共8个GUI任务榜单中全面刷新开源模型性能纪录,达成全平台SOTA。
162 2
|
2月前
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5):大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。
|
1月前
|
传感器 边缘计算 人工智能
2025大模型应用平台选型指南:从个人助手到企业级智能体,5大平台场景化拆解
本文深度评测五大主流大模型平台,结合金融、医疗、制造实战案例,解析Open WebUI、Dify、Ragflow、FastGPT与n8n的定位与优势,提供选型决策树与混合架构实例,助你精准匹配业务需求,避开“全能平台”陷阱,实现高效智能化落地。
|
2月前
|
人工智能 缓存 资源调度
云上AI推理平台全掌握 (4):大模型分发加速
为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。
|
7天前
|
人工智能 数据可视化 前端开发
AI Ping:精准可靠的大模型服务性能评测平台
AI Ping是清华系团队推出的“大模型服务评测平台”,被誉为“AI界的大众点评”。汇聚230+模型服务,7×24小时监测性能数据,以吞吐量、延迟等硬指标助力开发者科学选型。界面简洁,数据可视化强,支持多模型对比,横向对标国内外主流平台,为AI应用落地提供权威参考。
101 3
|
6月前
|
人工智能 自然语言处理 机器人
9.9K star!大模型原生即时通信机器人平台,这个开源项目让AI对话更智能!
"😎高稳定、🧩支持插件、🦄多模态 - 大模型原生即时通信机器人平台"
189 0
|
6月前
|
人工智能 网络协议 Java
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
RuoYi AI 是一个全栈式 AI 开发平台,支持本地 RAG 方案,集成多种大语言模型和多媒体功能,适合企业和个人开发者快速搭建个性化 AI 应用。
1598 77
RuoYi AI:1人搞定AI中台!开源全栈式AI开发平台,快速集成大模型+RAG+支付等模块
|
3月前
|
人工智能 搜索推荐 测试技术
通义灵码 Agent+MCP:打造自动化菜品推荐平台,从需求到部署实现全流程创新
通过通义灵码编程智能体模式和 MCP 的集成,开发者可以高效构建在线菜品推荐网站。智能体模式大幅提升了开发效率,MCP 服务则为功能扩展提供了无限可能。
|
4月前
|
JavaScript 搜索推荐 前端开发
通义灵码2.5智能体模式联合MCP:打造自动化菜品推荐平台,实现从需求到部署的全流程创新
本项目利用通义灵码2.5的智能体模式与MCP服务,构建在线点餐推荐网站。基于Qwen3模型,实现从需求到代码生成的全流程自动化,集成“今天吃什么”和EdgeOne MCP服务,提供个性化推荐、偏好管理等功能。技术架构采用React/Vue.js前端与Node.js后端,结合MCP工具链简化开发。项目涵盖功能测试、部署及未来扩展方向,如餐厅推荐、语音交互等,展示高效开发与灵活扩展能力。

热门文章

最新文章