一、方案概述
通过函数计算 FC 部署Ollama和Open WebUI两个应用。Ollama负责托管Qwen2.5模型,方案提供的镜像预置了1.5B、3B、7B三种不同参数规模供用户选择,Open WebUI则为用户提供友好的交互界面。架构如下:
二、基于 Ollama 部署 Qwen2.5 模型
Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。
1、点击Ollama模板链接,访问创建Ollama应用页面。
2、Qwen2.5模型1.5B、3B和7B三种不同参数规模的版本,可以在模型名称下拉列表中按需选择。
3、应用部署成功后如下图所示。
三、Open WebUI 调用 Qwen2.5 模型
Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。
1、点击Open WebUI模板链接,访问创建Open WebUI应用页面。
2、配置如下:
在函数计算中找到ollama内网访问地址。
3、点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。
4、Open WebUI应用部署完毕后,点击访问域名。
四、应用体验
1、登录Open WebUI后,点击Select a model,在展开的下拉列表中选择Qwen2.5模型。如果在下拉列表中未显示可用的模型,请尝试刷新页面以更新列表。
2、可以在对话框中与系统进行交互,调用模型服务获得相应的响应。
3、Qwen2.5 模型具备支持超过多种语言的能力,例如能够用日语进行自我介绍。
4、还可以做数学题。
5、支持上传文档提炼文档的内容。
6、同时可以支持设置为简体中文。
五、清理资源
若长期不再使用,则需要删除两个应用函数
六、总结
通过阿里云函数计算(FC)部署Ollama和Open WebUI,实现Qwen2.5模型的托管与交互。Ollama提供1.5B、3B、7B三种参数规模的Qwen2.5模型选择,Open WebUI则为用户提供友好的图形化操作界面。用户可轻松创建、配置并体验Qwen2.5的强大功能,包括多语言支持、数学题解答和文档提炼等,方便在日常工作生活快速构建属于自己的大模型。