数据缓存系列分享(六):通义千问Qwen-14B大模型快速体验

本文涉及的产品
轻量应用服务器 2vCPU 4GiB,适用于网站搭建
轻量应用服务器 2vCPU 4GiB,适用于搭建容器环境
轻量应用服务器 2vCPU 1GiB,适用于搭建电商独立站
简介: 阿里达摩院近期对通义千问大模型 Qwen-14B 进行了开源(之前开源的是Qwen-7B模型),目前在ModelScope和HuggingFace上均可直接下载。关于Qwen-7B的搭建可以参考我们之前的文章:数据缓存系列分享(五):开源大语言模型通义千问快速体验版,本文将使用一样的方式打开Qwen-14B,快速体验一下。

背景

阿里达摩院近期对通义千问大模型 Qwen-14B进行了开源(之前开源的是Qwen-7B模型),目前在ModelScope和HuggingFace上均可直接下载。关于Qwen-7B的搭建可以参考我们之前的文章:数据缓存系列分享(四):开源大语言模型通义千问快速体验版,本文将使用一样的方式打开Qwen-14B,快速体验一下。

注:除了模型缓存创建稍有不同,其他流程都是完全相同,无需任何变化。

创建千问模型缓存

进入 Qwen-14B 主页,找到模型信息:

cf811e29-7adb-4125-904c-87ba52cd9d14.png

然后进入ECI数据缓存 控制台,选择URL类型的数据源,参数参考如下:

repoSource: ModelScope/Model

repoId: qwen/Qwen-14B-Chat

revision:v1.0.4

309fb136-3e80-42ac-8698-f80d47174ede.png

所有ModelScope、HuggingFace上标准模型缓存创建流程都是类似,只需找到对应的repoId即可。

关于数据缓存更多详情可以参考:https://help.aliyun.com/zh/eci/user-guide/data-caching-overview

部署千问webui

因为只需替换模型即可,所以应用部署跟7B完全一致,可以直接参考我们之前的文章,数据缓存系列分享(四):开源大语言模型通义千问快速体验版包含k8s api、openApi、控制台等多种部署方式。如果已经熟悉基本流程,文章后续可以跳过。

本文将主要介绍控制台部署千问的方式,进入ECI售卖页

1、选择GPU规格

14B对显存要求更高,根据官方测评数据,40+GB显存会比较安全,我们直接用了60GB

1573d1ff-9831-4195-b67d-1cf79f87d656.png

2、选择千问的容器镜像

容器配置 -> 选择容器镜像 -> 常用镜像

如果是非杭州地域,直接填入镜像,效果是一样的。

registry.cn-hangzhou.aliyuncs.com/eci_open/qwen-webui

版本:1.0.0

4143e6ae-7939-4191-b4d3-112ea5c6d608.png

3、挂载模型缓存进容器

使用前面刚创建好的模型缓存,挂载进容器的/data/model/目录

bucket: test

path: /model/test/qwen-14b

105eb966-c113-4e98-84ae-feee453a2562.png

4、打开公网(如果通过公网地址访问webui)

a44ad9f6-4c52-44ee-87ec-fc222a9b422f.png




至此,通义千问就已经部署完成,通过ip:8888就可以访问界面了:

7258feb8-1452-4586-8375-ca0e315ae92c.png

忽略logo,因为我是直接用之前制作好的7B的容器镜像。

注:

1、确保安全组放开了8888端口,如果想换端口,覆盖容器的启动命令即可,比如:

python Qwen-7B/web_demo.py --server_port xxx

2、目前控制台还不支持打开缓存burst load方式,模型加载速度会略慢一些,耐心等待。

体验

0efaf7da-8e60-48db-9a1c-255c722add40.png733c0e30-faf8-4970-90ef-fee5a7466195.png




总结

本文基于数据缓存系列分享(四):开源大语言模型通义千问快速体验版制作的webui镜像无需做任何修改,就可以直接替换成14B模型,也是我们一直在主推的应用与模型解耦的方式。

对于公共开源大模型,我们可以利用公共缓存的优势,实现一次缓存,全网加速,节省所有用户下载、打包、上传的时间,而且可以做到大规模秒级分发,应用启动时按需载入内存即可,尤其是弹性场景非常稳定、便捷。



附录

数据缓存系列分享(一):打开大模型应用的另一种方式

数据缓存系列分享(二):23秒完成从零开始搭建StableDiffusion

数据缓存系列分享(三):通过 StableDiffusion 扩展插件实现网红爆款文字光影图

数据缓存系列分享(四):开源大语言模型通义千问快速体验

数据缓存系列分享(五):零代码搭建妙鸭相机

数据缓存系列分享(六):通义千问Qwen-14B大模型快速体验

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
1月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
2月前
|
分布式计算 测试技术 Spark
科大讯飞开源星火化学大模型、文生音效模型
近期,科大讯飞在魔搭社区(ModelScope)和Gitcode上开源两款模型:讯飞星火化学大模型Spark Chemistry-X1-13B、讯飞文生音频模型AudioFly,助力前沿化学技术研究,以及声音生成技术和应用的探索。
262 2
|
2月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1386 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
1月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
347 121
|
1月前
|
数据采集 人工智能 搜索推荐
智能新纪元:多模态大模型如何重塑人机交互
智能新纪元:多模态大模型如何重塑人机交互
211 113
|
1月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
267 114
|
1月前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
257 120
|
1月前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
243 117
|
2月前
|
自然语言处理 机器人 图形学
腾讯混元图像3.0正式开源发布!80B,首个工业级原生多模态生图模型
腾讯混元图像3.0,真的来了——开源,免费开放使用。 正式介绍一下:混元图像3.0(HunyuanImage 3.0),是首个工业级原生多模态生图模型,参数规模80B,也是目前测评效果最好、参数量最大的开源生图模型,效果可对…
733 2
腾讯混元图像3.0正式开源发布!80B,首个工业级原生多模态生图模型

热门文章

最新文章

下一篇
oss云网关配置