Qwen2.5 是通义千问团队开发的大规模语言和多模态系列模型，以其长文本处理能力、专业知识集成、大规模数据集预训练以及多语言处理等优势，为用户提供了快速、准确的响应，成为企业智能化转型的有效工具。
将 Qwen2.5 模型部署于函数计算 FC，用户能依据业务需求调整资源配置，有效应对高并发场景，并通过优化资源配置，如调整实例规格、多 GPU 部署和模型量化来提升推理速度。此外，函数计算支持多样化 GPU 计费模式（按需计费、阶梯定价、极速模式），可根据业务需求调整，在面对高频请求和大规模数据处理时，能够显著降低综合成本。
有奖体验进行中！
使用函数计算 FC 一键部署 Qwen2.5 模型，完成 Ollama 和 Open WebUI 两个应用，两步赢蛇年对联！
活动时间：2024.12.23 00:00:00-2025.01.10 16:00:00
立即体验：https://developer.aliyun.com/topic/dec/fcqwen
适用客户
- 对 AI 的深度理解、多领域知识集成、高效指令执行及多语言支持有高要求的客户
- 期望通过可控的云服务资源配置，确保高效的模型推理和低延迟响应的企业
使用产品
- 函数计算 FC
方案概览
本方案旨在介绍如何将 Qwen2.5 开源模型部署到函数计算 FC。通过函数计算 FC 部署 Ollama 和 Open WebUI 两个应用。Ollama 是一个负责托管 Qwen2.5 模型的应用程序，它为用户提供了多种参数规模的模型选择，并通过 Open WebUI 提供友好的交互界面，以便用户能够轻松地进行AI模型的部署和使用。方案提供的镜像预置了 1.5B、3B、7B 三种不同参数规模供用户选择，Open WebUI 则为用户提供友好的交互界面。
借助函数计算 FC，用户可以快速便捷地部署模型，而无需担心底层资源管理和运维问题，从而专注于应用的创新和开发。函数计算 FC 提供了免运维的高效开发环境，具备弹性伸缩和高可用性，并采用按量付费模式，有效降低资源闲置成本。
实际部署时，您可根据具体的资源规划调整部分配置，但最终的运行环境将与下图展示的架构相似。
本方案的技术架构包括以下云服务：
- 函数计算 FC：全托管的 Serverless 计算服务，用于部署模型服务与 Web 应用。
部署模型
基于 Ollama 部署 Qwen2.5 模型
我们将部署 Ollama 应用以提供模型服务。Ollama 是一个便捷的模型部署和管理工具，帮助开发者高效托管和服务化模型，便于快速集成 AI 能力。
1. 点击 Ollama 模板链接[1]，访问创建 Ollama 应用页面。
2. 当前应用模板提供了 Qwen2.5 模型 1.5B、3B 和 7B 三种不同参数规模的版本，可以在模型名称下拉列表中按需选择。
3. 其余配置项可不作修改，点击创建并部署默认环境按钮部署应用，应用部署成功后如下图所示。
Open WebUI 调用 Qwen2.5 模型
Open WebUI 是一个开源项目，提供了管理和操作模型的图形界面。
1. 点击 Open WebUI 模板链接[2]，访问创建 Open WebUI 应用页面。
2. 在高级配置 > 地域下拉列表中选择应用所属地域。
警告：确保所选地域与 Ollama 应用创建时所选的地域一致。
3. 应用模板中提供了开启鉴权的选项，建议在生产环境开启，以增加安全性，防止未经授权的访问。
4. Ollama 接口地址填入 Ollama 应用的内网访问地址。
说明：Ollama 应用内网访问地址获取方式：
a. 打开函数计算 FC 应用[3]页面，找到 Ollama 应用，点击应用名称进入应用详情。
b. 在应用详情页找到函数资源，点击函数名称进入函数详情页。
c. 鼠标移至 HTTP 触发器，在展开的信息中复制内网访问地址。
5. 其余配置项可不作修改，点击创建并部署默认环境按钮部署应用，应用部署成功后如下图所示。
6. Open WebUI 应用部署完毕后，点击访问域名。
7. 首次打开需要完成实例的创建和模型的部署，请等待 3-5 分钟。
应用体验
一、使用 Open WebUI 调用 Qwen2.5 模型
1. 登录 Open WebUI 后，点击 Select a model，在展开的下拉列表中选择 Qwen2.5 模型。如果在下拉列表中未显示可用的模型，请尝试刷新页面以更新列表。
2. 可以在对话框中与系统进行交互，调用模型服务获得相应的响应。
3. Qwen2.5 模型具备支持超过 29 种语言的能力，例如能够用法语进行自我介绍。
4. 由于融入了领域专业专家模型，Qwen2.5 的知识广度和在编码与数学领域的能力都显著提升。我们可以提出一道数学题，Qwen2.5 能够给出正确的解答。
5. 点击 
图标，选择本地文档上传，可以使用我们提供的“百炼”手机详细参数.docx[4]。
6. 针对当前文档撰写提示词“总结文档内容”。
7. 可以看到 Qwen2.5 模型成功提炼出了文档的关键信息。
说明：Open WebUI 中文设置：
1. 点击右上角 
图标，在展开的下拉列表中选择 Settings。
2. 在 Settings 弹窗中，选择 General > Language。
3. 在展开的下拉列表中找到并点击 Chinese（简体中文）。
4. 页面会自动刷新，此时 Open WebUI 的界面语言已切换为简体中文，点击保存按钮后关闭弹窗。
二、函数计算 FC 自动扩缩容机制
1. 回到 Ollama 函数详情页，点击实例标签，如果当前实例列表为空，可以点击 
图标刷新列表。
2. 实例列表中可以看到 Ollama 函数实例的数量发生了变化。这是因为函数计算 FC 会根据函数调用量自动扩缩容，调用增加时创建实例，请求减少后若实例空闲超过一定时间（通常 3-5 分钟），则自动销毁以节约资源。这种动态扩缩容的机制不仅提高了资源利用率，还降低了运行成本，使开发者能够专注于业务逻辑，而无需担心底层基础设施的管理。
相关链接：
[1] Ollama 模板链接
[2] Open WebUI 模板链接
[3] 函数计算 FC 应用
https://fcnext.console.aliyun.com/applications
[4] “百炼”手机详细参数.docx
