最佳实践 | 轻松部署,即刻触达 Qwen2.5 的飞一般的体验

简介: 通过阿里云函数计算(FC)部署Ollama和Open WebUI,实现Qwen2.5模型的托管与交互。

一、方案概述

通过函数计算 FC 部署Ollama和Open WebUI两个应用。Ollama负责托管Qwen2.5模型,方案提供的镜像预置了1.5B、3B、7B三种不同参数规模供用户选择,Open WebUI则为用户提供友好的交互界面。架构如下:
image.png

二、基于 Ollama 部署 Qwen2.5 模型

Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。

1、点击Ollama模板链接,访问创建Ollama应用页面。
image.png

2、Qwen2.5模型1.5B、3B和7B三种不同参数规模的版本,可以在模型名称下拉列表中按需选择。
image.png

3、应用部署成功后如下图所示。
image.png

三、Open WebUI 调用 Qwen2.5 模型

Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。

1、点击Open WebUI模板链接,访问创建Open WebUI应用页面。
image.png

2、配置如下:

在函数计算中找到ollama内网访问地址。
image.png

image.png

3、点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。
image.png

4、Open WebUI应用部署完毕后,点击访问域名。

四、应用体验

1、登录Open WebUI后,点击Select a model,在展开的下拉列表中选择Qwen2.5模型。如果在下拉列表中未显示可用的模型,请尝试刷新页面以更新列表。
image.png

2、可以在对话框中与系统进行交互,调用模型服务获得相应的响应。
image.png

3、Qwen2.5 模型具备支持超过多种语言的能力,例如能够用日语进行自我介绍。
image.png

4、还可以做数学题。
image.png

5、支持上传文档提炼文档的内容。
image.png

6、同时可以支持设置为简体中文。
image.png

五、清理资源

若长期不再使用,则需要删除两个应用函数
image.png

六、总结

通过阿里云函数计算(FC)部署Ollama和Open WebUI,实现Qwen2.5模型的托管与交互。Ollama提供1.5B、3B、7B三种参数规模的Qwen2.5模型选择,Open WebUI则为用户提供友好的图形化操作界面。用户可轻松创建、配置并体验Qwen2.5的强大功能,包括多语言支持、数学题解答和文档提炼等,方便在日常工作生活快速构建属于自己的大模型。

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
5月前
|
人工智能 运维 Serverless
0 代码,一键部署 Qwen3
依托于阿里云函数计算 FC 算力,Serverless + AI 开发平台 FunctionAI 现已提供模型服务、应用模版两种部署方式辅助您部署 Qwen3 系列模型。完成模型部署后,您即可与模型进行对话体验;或以 API 形式进行调用,接入 AI 应用中,欢迎您立即体验。
|
6月前
|
人工智能 并行计算 持续交付
如何使用龙蜥衍生版KOS,2步实现大模型训练环境部署
大幅降低了用户开发和应用大模型的技术门槛。
|
6月前
|
人工智能 弹性计算 自然语言处理
从0到1部署大模型,计算巢模型市场让小白秒变专家
阿里云计算巢模型市场依托阿里云弹性计算资源,支持私有化部署,集成通义千问、通义万象、Stable Diffusion等领先AI模型,覆盖大语言模型、文生图、多模态、文生视频等场景。模型部署在用户云账号下,30分钟极速上线,保障数据安全与权限自主控制,适用于企业级私有部署及快速原型验证场景。
|
6月前
|
数据采集 机器学习/深度学习 搜索推荐
利用通义大模型构建个性化推荐系统——从数据预处理到实时API部署
本文详细介绍了基于通义大模型构建个性化推荐系统的全流程,涵盖数据预处理、模型微调、实时部署及效果优化。通过采用Qwen-72B结合LoRA技术,实现电商场景下CTR提升58%,GMV增长12.7%。文章分析了特征工程、多任务学习和性能调优的关键步骤,并探讨内存优化与蒸馏实践。最后总结了大模型在推荐系统中的适用场景与局限性,提出未来向MoE架构和因果推断方向演进的建议。
1141 11
|
6月前
|
存储 文字识别 自然语言处理
通义大模型在文档自动化处理中的高效部署指南(OCR集成与批量处理优化)
本文深入探讨了通义大模型在文档自动化处理中的应用,重点解决传统OCR识别精度低、效率瓶颈等问题。通过多模态编码与跨模态融合技术,通义大模型实现了高精度的文本检测与版面分析。文章详细介绍了OCR集成流程、批量处理优化策略及实战案例,展示了动态批处理和分布式架构带来的性能提升。实验结果表明,优化后系统处理速度可达210页/分钟,准确率达96.8%,单文档延迟降至0.3秒,为文档处理领域提供了高效解决方案。
776 1
|
2月前
|
监控 安全 数据安全/隐私保护
55_大模型部署:从云端到边缘的全场景实践
随着大型语言模型(LLM)技术的飞速发展,从实验室走向产业化应用已成为必然趋势。2025年,大模型部署不再局限于传统的云端集中式架构,而是向云端-边缘协同的分布式部署模式演进。这种转变不仅解决了纯云端部署在延迟、隐私和成本方面的痛点,还为大模型在各行业的广泛应用开辟了新的可能性。本文将深入剖析大模型部署的核心技术、架构设计、工程实践及最新进展,为企业和开发者提供从云端到边缘的全场景部署指南。
|
3月前
|
人工智能 云栖大会
2025云栖大会大模型应用开发与部署|门票申领
2025云栖大会大模型应用开发与部署门票申领
208 1
|
2月前
|
缓存 API 调度
70_大模型服务部署技术对比:从框架到推理引擎
在2025年的大模型生态中,高效的服务部署技术已成为连接模型能力与实际应用的关键桥梁。随着大模型参数规模的不断扩大和应用场景的日益复杂,如何在有限的硬件资源下实现高性能、低延迟的推理服务,成为了所有大模型应用开发者面临的核心挑战。
|
2月前
|
人工智能 监控 安全
06_LLM安全与伦理:部署大模型的防护指南
随着大型语言模型(LLM)在各行业的广泛应用,其安全风险和伦理问题日益凸显。2025年,全球LLM市场规模已超过6400亿美元,年复合增长率达30.4%,但与之相伴的是安全威胁的复杂化和伦理挑战的多元化

热门文章

最新文章