模型介绍
- DeepSeek R1系列模型使用强化学习训练,推理过程包含大量反思和验证,并凭借其卓越的性能和广泛的应用场景,一经开源迅速在全球范围内获得了极高的关注度和广泛的用户基础。您可点击以下链接,查看方案具体详情:https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms
- 千问QWQ-32B 是阿里探索推理模型的最新成果。在冷启动的基础上,模型针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,实现质的飞跃,整体性能比肩DeepSeek-R1,同时大度降低了部署使用成本,在消费机显卡上也能实现本地部署。您可点击以下链接,查看方案具体详情:https://www.aliyun.com/solution/tech-solution/qwq-for-platforms
开始部署
部署QWQ-32B推理模型
方式一:应用模板部署
创建项目
进入 CAP控制台 单击 基于模板创建 开始创建。部署模板
1.在搜索栏输入QWQ进行搜索,单击基于 Qwen-QwQ 推理模型构建AI聊天助手,进入模板详情页,单击立即部署。
2.选择地域,目前支持 北京、上海、杭州,单击部署项目,在项目资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品。单击确认部署,部署过程大约持续 10 分钟左右,状态显示已部署表示部署成功。
说明
- 选择地域时,一般是就近选择地域信息,如果已经开启了NAS文件系统,选择手动配置模型存储时,请选择和文件系统相同的地域。
- 如果您在测试调用的过程中遇到部署异常或模型拉取失败,可能是当前地域的GPU显卡资源不足,建议您更换地域进行重试。
验证应用
部署完毕后,点击 Open-WebUI 服务,在 访问地址 内找到 公网访问 单击访问。在 OpenWebUI 界面体验 QwQ 模型进行对话。方式二:模型服务部署
使用 API 形式进行模型调用,接入线上业务应用。创建空白项目
进入 CAP控制台 单击 创建空白项目 开始创建,并为项目命名。选择模型服务
部署模型服务
1.选择模型QwQ-32B-GGUF,目前仅支持杭州地域。
2.单击资源配置,QwQ-32B-GGUF推荐使用 Ada 系列,可直接使用默认配置。您可以根据业务诉求填写需要的卡型及规格信息。
3.单击预览并部署,在服务资源预览对话框中,您可以看到相关的计费项,详情请见计费涉及的产品。单击确认部署,该阶段需下载模型,预计等待10~30分钟即可完成。
验证模型服务
单击 调试 ,即可测试和验证相关模型调用。第三方平台 API 调用
您可以选择在 Chatbox 等其他第三方平台中验证和应用模型调用,以下以 Chatbox 为例。部署满血DeepSeek R1模型
方式1 : 应用模版部署
实现 DeepSeek-R1 模型 + OpenWebUI 部署
创建项目
点击如下链接新建项目:
https://cap.console.aliyun.com/projects
部署模版
搜索 “DeepSeek” ,点击 “基于 DeepSeek-R1 构建AI聊天助手” 模版并部署
选择 Region 并部署应用
部署过程大约持续 10 分钟左右
验证应用
部署完毕后,点击 OpenWebUI 服务,在访问地址内找到“公网访问”
在 OpenWebUI 界面验证 DeepSeek 模型对话
方式2. 模型服务部署
使用 API 形式进行模型调用,接入线上业务应用创建空白项目
进入CAP控制台点击“创建空白项目”开始创建,并为项目命名
选择模型服务
选择“模型服务”组件并创建;
预览&部署
选择模型 “DeepSeek-R1-Distill-Qwen-7B-GGUF”
点击“资源配置”开始配置卡型及规格(可直接使用默认配置)
您也可以根据业务诉求填写需要的卡型信息,DeepSeek-R1-Distill-Qwen-7B-GGUF 推荐使用 Tesla 系列。
点击“预览并部署”,该阶段需下载模型,预计等待 10 分钟左右即可完成
验证模型服务
点击调试,即可测试和验证相关模型调用
在本地 IDE 中验证模型调用
第三方平台 API 调用
您可以选择在 Chatbox 等其他第三方平台中验证和引用模型调用,以下以 chatbox 为例