数据缓存系列分享(六):通义千问Qwen-14B大模型快速体验

本文涉及的产品
资源编排,不限时长
无影云电脑企业版,4核8GB 120小时 1个月
无影云电脑个人版,1个月黄金款+200核时
简介: 阿里达摩院近期对通义千问大模型 Qwen-14B 进行了开源(之前开源的是Qwen-7B模型),目前在ModelScope和HuggingFace上均可直接下载。关于Qwen-7B的搭建可以参考我们之前的文章:数据缓存系列分享(五):开源大语言模型通义千问快速体验版,本文将使用一样的方式打开Qwen-14B,快速体验一下。

背景

阿里达摩院近期对通义千问大模型 Qwen-14B进行了开源(之前开源的是Qwen-7B模型),目前在ModelScope和HuggingFace上均可直接下载。关于Qwen-7B的搭建可以参考我们之前的文章:数据缓存系列分享(四):开源大语言模型通义千问快速体验版,本文将使用一样的方式打开Qwen-14B,快速体验一下。

注:除了模型缓存创建稍有不同,其他流程都是完全相同,无需任何变化。

创建千问模型缓存

进入 Qwen-14B 主页,找到模型信息:

cf811e29-7adb-4125-904c-87ba52cd9d14.png

然后进入ECI数据缓存 控制台,选择URL类型的数据源,参数参考如下:

repoSource: ModelScope/Model

repoId: qwen/Qwen-14B-Chat

revision:v1.0.4

309fb136-3e80-42ac-8698-f80d47174ede.png

所有ModelScope、HuggingFace上标准模型缓存创建流程都是类似,只需找到对应的repoId即可。

关于数据缓存更多详情可以参考:https://help.aliyun.com/zh/eci/user-guide/data-caching-overview

部署千问webui

因为只需替换模型即可,所以应用部署跟7B完全一致,可以直接参考我们之前的文章,数据缓存系列分享(四):开源大语言模型通义千问快速体验版包含k8s api、openApi、控制台等多种部署方式。如果已经熟悉基本流程,文章后续可以跳过。

本文将主要介绍控制台部署千问的方式,进入ECI售卖页

1、选择GPU规格

14B对显存要求更高,根据官方测评数据,40+GB显存会比较安全,我们直接用了60GB

1573d1ff-9831-4195-b67d-1cf79f87d656.png

2、选择千问的容器镜像

容器配置 -> 选择容器镜像 -> 常用镜像

如果是非杭州地域,直接填入镜像,效果是一样的。

registry.cn-hangzhou.aliyuncs.com/eci_open/qwen-webui

版本:1.0.0

4143e6ae-7939-4191-b4d3-112ea5c6d608.png

3、挂载模型缓存进容器

使用前面刚创建好的模型缓存,挂载进容器的/data/model/目录

bucket: test

path: /model/test/qwen-14b

105eb966-c113-4e98-84ae-feee453a2562.png

4、打开公网(如果通过公网地址访问webui)

a44ad9f6-4c52-44ee-87ec-fc222a9b422f.png




至此,通义千问就已经部署完成,通过ip:8888就可以访问界面了:

7258feb8-1452-4586-8375-ca0e315ae92c.png

忽略logo,因为我是直接用之前制作好的7B的容器镜像。

注:

1、确保安全组放开了8888端口,如果想换端口,覆盖容器的启动命令即可,比如:

python Qwen-7B/web_demo.py --server_port xxx

2、目前控制台还不支持打开缓存burst load方式,模型加载速度会略慢一些,耐心等待。

体验

0efaf7da-8e60-48db-9a1c-255c722add40.png733c0e30-faf8-4970-90ef-fee5a7466195.png




总结

本文基于数据缓存系列分享(四):开源大语言模型通义千问快速体验版制作的webui镜像无需做任何修改,就可以直接替换成14B模型,也是我们一直在主推的应用与模型解耦的方式。

对于公共开源大模型,我们可以利用公共缓存的优势,实现一次缓存,全网加速,节省所有用户下载、打包、上传的时间,而且可以做到大规模秒级分发,应用启动时按需载入内存即可,尤其是弹性场景非常稳定、便捷。



附录

数据缓存系列分享(一):打开大模型应用的另一种方式

数据缓存系列分享(二):23秒完成从零开始搭建StableDiffusion

数据缓存系列分享(三):通过 StableDiffusion 扩展插件实现网红爆款文字光影图

数据缓存系列分享(四):开源大语言模型通义千问快速体验

数据缓存系列分享(五):零代码搭建妙鸭相机

数据缓存系列分享(六):通义千问Qwen-14B大模型快速体验

相关实践学习
基于ACK Serverless轻松部署企业级Stable Diffusion
本实验指导您在容器服务Serverless版(以下简称 ACK Serverless )中,通过Knative部署满足企业级弹性需求的Stable Diffusion服务。同时通过对该服务进行压测实验,体验ACK Serverless 弹性能力。
Kubernetes极速入门
Kubernetes(K8S)是Google在2014年发布的一个开源项目,用于自动化容器化应用程序的部署、扩展和管理。Kubernetes通常结合docker容器工作,并且整合多个运行着docker容器的主机集群。 本课程从Kubernetes的简介、功能、架构,集群的概念、工具及部署等各个方面进行了详细的讲解及展示,通过对本课程的学习,可以对Kubernetes有一个较为全面的认识,并初步掌握Kubernetes相关的安装部署及使用技巧。本课程由黑马程序员提供。   相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
28天前
|
测试技术
通义千问团队开源全新的过程奖励模型PRM!
近年来,大型语言模型(LLMs)在数学推理方面取得了显著进展,但它们仍可能在过程中犯错误,如计算错误或逻辑错误,导致得出不正确的结论;即使最终答案正确,这些强大的模型也可能编造看似合理的推理步骤,这削弱了 LLMs 推理过程的可靠性和可信度。
|
26天前
|
编解码 人工智能 API
通义万相2.1视频/图像模型新升级!可在阿里云百炼直接体验
通义万相2.1模型推出新特征,包括复杂人物运动的稳定展现、现实物理规律的逼真还原及中英文视频特效的绚丽呈现。通过自研的高效VAE和DiT架构,增强时空上下文建模能力,支持无限长1080P视频的高效编解码,并首次实现中文文字视频生成功能。升级后的通义万相荣登VBench榜单第一,提供电影级分镜效果、四格漫画故事速览及情侣头像创意定制等多种玩法,满足多样化的视觉创作需求。可直接在阿里云百炼平台调用API体验这些功能。
|
1月前
|
编解码 Cloud Native 算法
通义万相:视觉生成大模型再进化
通义万相是阿里云推出的视觉生成大模型,涵盖图像和视频生成。其2.0版本在文生图和文生视频方面进行了重大升级,采用Diffusion Transformer架构,提升了模型的灵活性和可控性。通过高质量美学标准和多语言支持,大幅增强了画面表现力。此外,视频生成方面引入高压缩比VAE、1080P长视频生成及多样化艺术风格支持,实现了更丰富的创意表达。未来,通义万相将继续探索视觉领域的规模化和泛化,打造更加通用的视觉生成大模型。
|
2月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
20天前
|
机器学习/深度学习 人工智能 监控
DiffuEraser:阿里通义实验室推出的视频修复模型,支持高清修复、时间一致性优化
DiffuEraser 是阿里通义实验室推出的基于稳定扩散模型的视频修复工具,能够生成丰富的细节并保持时间一致性,适用于电影修复、监控增强等场景。
125 26
DiffuEraser:阿里通义实验室推出的视频修复模型,支持高清修复、时间一致性优化
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Qwen2.5-Max:阿里通义千问超大规模 MoE 模型,使用超过20万亿tokens的预训练数据
Qwen2.5-Max是阿里云推出的超大规模MoE模型,具备强大的语言处理能力、编程辅助和多模态处理功能,支持29种以上语言和高达128K的上下文长度。
1609 13
Qwen2.5-Max:阿里通义千问超大规模 MoE 模型,使用超过20万亿tokens的预训练数据
|
4天前
|
人工智能 搜索推荐 程序员
通义灵码全新上线模型选择功能,新增支持 DeepSeek-V3 和 DeepSeek-R1 模型
阿里云百炼平台推出DeepSeek-V3、DeepSeek-R1等6款新模型,丰富AI模型矩阵。通义灵码随之升级,支持Qwen2.5、DeepSeek-V3和R1系列模型选择,助力AI编程。开发者可通过VS Code和JetBrains IDE轻松切换模型,实现复杂编码任务的自动化处理,进一步降低AI编程门槛,提供个性化服务。
309 19
|
16天前
|
人工智能 测试技术
QVQ-72B-Preview:阿里通义千问最新多模态推理模型,视觉推理助力复杂图像理解
阿里云通义千问团队开源的多模态推理模型 QVQ-72B-Preview,专注于提升视觉推理能力,支持复杂图像理解和逐步推理。
93 6
QVQ-72B-Preview:阿里通义千问最新多模态推理模型,视觉推理助力复杂图像理解
|
4天前
|
人工智能 自然语言处理 程序员
如何在通义灵码里用上DeepSeek-V3 和 DeepSeek-R1 满血版671B模型?
除了 AI 程序员的重磅上线外,近期通义灵码能力再升级全新上线模型选择功能,目前已经支持 Qwen2.5、DeepSeek-V3 和 R1系列模型,用户可以在 VSCode 和 JetBrains 里搜索并下载最新通义灵码插件,在输入框里选择模型,即可轻松切换模型。
756 14
|
1月前
|
人工智能 编解码
通义万相2.1:VBench榜单荣登第一!阿里通义万相最新视频生成模型,支持生成1080P长视频
万相2.1是阿里通义万相最新推出的视频生成模型,支持1080P无限长视频生成,具备复杂动作展现、物理规律还原、艺术风格转换等功能。
628 27
通义万相2.1:VBench榜单荣登第一!阿里通义万相最新视频生成模型,支持生成1080P长视频