云上玩转DeepSeek系列之六:DeepSeek云端加速版发布,具备超高推理性能

简介: 作为国内首个千亿级开源 MoE 模型,DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力,已成为开发者构建智能应用的首选。然而,原始模型在产业落地中面临严峻挑战,部署 671B 满血版模型不仅硬件门槛要求很高,同时吞吐效率和响应延迟也受到了制约。PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized,将大模型推理效率推向了 Next Level。

作为国内首个千亿级开源 MoE 模型,DeepSeek-R1 凭借其卓越的代码生成与复杂推理能力,已成为开发者构建智能应用的首选。然而,原始模型在产业落地中面临严峻挑战,部署 671B 满血版模型不仅硬件门槛要求很高,同时吞吐效率和响应延迟也受到了制约。

PAI 正式推出了优化版 DeepSeek-R1 模型 DeepSeek-R1-PAI-optimized,将大模型推理效率推向了 Next Level。核心亮点有:

  • 技术领先:基于自研的模型优化“黑科技”,模型体积大幅减小的同时,评测表现依然良好
  • 单机部署:单机8卡 GU120 即可实现高性能部署,硬件成本直接减半
  • 性能跃升:相同时延约束下,吞吐能提升492%+;相同吞吐下, 首 token 时延直降86%+token间时延直降69%+
  • 开箱即用:只需进入 PAI Model Gallery,搜索 DeepSeek-R1-PAI-optimized,实现模型一键部署


一、性能跃升:极致吞吐与超低时延

DeepSeek-R1 优化版模型 DeepSeek-R1-PAI-optimized,相较原模型,在吞吐和延迟方面实现了双优,全面提升推理流程的效率。

实验配置

优化版部署在单机 GU120,原模型部署在双机 GU120推理引擎为 vLLM

数据集为 longalpaca-12k,输入token长度限定为3K,输出 token 长度限定为1K。

实验结果

  • DeepSeek-R1 优化版模型的极限总吞吐约达到3865tokens/s,极限输出吞吐达到965tokens/s,相比原模型有50%提升
  • 在相同的 SLO(TTFT <= 1000ms, TPOT <= 70ms)下,DeepSeek-R1 优化版模型的并发为60,输出吞吐能达到829tokens/s;原模型的并发为10,输出吞吐能达到140tokens/s,优化版模型吞吐提升了492%
  • 在同等输出吞吐水平下(约500tokens/s),DeepSeek-R1优化版模型的TTFT为405ms,原模型的TTFT为2928ms,降低了86%;DeepSeek-R1优化版模型的TPOT为38ms,原模型的TPOT为123ms,降低了69%

image.png image.png

image.png image.png


以下是在各类评测数据集的测试结果,对比 DeepSeek-R1 优化版的实测数据,和 DeepSeek-R1 原模型的实测数据,发现表现几近持平,证明了优化版模型的效果基本无损。

image.png


二、极简操作:三步开始高性能推理

  1. 进入  Model Gallery  页面
  • 登录 PAI 控制台。
  • 在顶部左上角根据实际情况选择地域。
  • 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。
  • 在左侧导航栏选择快速开始 > Model Gallery。

image.png


2. 部署优化版 DeepSeek-R1 模型

  • 在 Model Gallery 页面的模型列表中,搜索“DeepSeek-R1-PAI-optimized”,找到并点击进入模型详情页面。
  • 单击右上角部署。选择部署方式和部署资源后,即可一键部署服务,生成一个 PAI-EAS 服务

image.png

3. 进行模型推理。

  • 部署成功后,在服务页面可以点击“查看调用信息”获取调用的 Endpoint 和 Token。
  • 点击模型介绍页,查看调用方式说明。

image.png



三、上阿里云PAI,使用更多DeepSeek衍生模型

除 DeepSeek-R1 满血版模型、 DeepSeek-R1 推理性能优化版模型外,PAI-Model Gallery 还提供以下衍生版本的模型,供不同需求场景下使用。

  • 大幅节省显存:DeepSeek-R1 量化版本 DeepSeek-R1-GGUF ,模型尺寸减少了 80% ,节省显存资源,性价比提升;

image.png

  • 小模型推理能力提升:DeepSeek-R1 蒸馏版本 PAI-DistilQwen2.5-7B-R1等,将 DeepSeek-R1的推理能力迁移到小模型中,实现原有小尺寸模型拥有推理能力;

DistilQwen2.5-R1发布:知识蒸馏助推小模型深度思考

  • 小模型推理速度提升:DeepSeek-V3 蒸馏版本 PAI-DistilQwen2.5-7B-DS3-0324 等,将 DeepSeekV3-0324 的快思考策略迁移到小模型中,提升推理速度。

DistilQwen2.5-DS3-0324发布:知识蒸馏+快思考=更高效解决推理难题

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
数据安全/隐私保护
SVN切换账号
简述SVN切换账号操作
|
3月前
|
人工智能 安全 专有云
深度访谈:阿里云×平头哥,模型推理提升13倍背后的秘密
2026年初,AI焦点正从“对话”转向“推理”:OpenClaw爆火、AI Coding成新基建、大模型迈向Agent化执行。算力瓶颈、成本压力与安全预警交织,推理效率成为产业主战场。本文深度对话阿里云与平头哥专家,剖析软硬协同、MoE优化、量化压缩等关键技术演进,揭示国产AI基础设施如何通过系统级创新突破“不可能三角”。
375 1
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5):大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。
|
关系型数据库 MySQL 数据库
docker--部署mysql5.7并初始化
docker--部署mysql5.7并初始化
|
人工智能 负载均衡 安全
云上AI推理平台全掌握 (3):服务接入与全球调度
阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵,为 LLM 服务量身打造了专业且灵活的服务接入方案,正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度,让客户的推理服务在任何网络环境下都能实现「接入即最优」。
|
人工智能 自然语言处理 运维
Qwen3 全尺寸模型支持通过阿里云PAI-ModelGallery 一键部署
Qwen3 是 Qwen 系列最新一代的大语言模型,提供了一系列密集(Dense)和混合专家(MOE)模型。目前,PAI 已经支持 Qwen3 全系列模型一键部署,用户可以通过 PAI-Model Gallery 快速开箱!
|
人工智能 监控 测试技术
云上AI推理平台全掌握 (1):PAI-EAS LLM服务一键压测
在AI技术飞速发展的今天,大语言模型(LLM)、多模态模型等前沿技术正深刻改变行业格局。推理服务是大模型从“实验室突破”走向“产业级应用”的必要环节,需直面高并发流量洪峰、低延时响应诉求、异构硬件优化适配、成本精准控制等复杂挑战。 阿里云人工智能平台 PAI 致力于为用户提供全栈式、高可用的推理服务能力。在本系列技术专题中,我们将围绕分布式推理架构、Serverless 弹性资源全球调度、压测调优和服务可观测等关键技术方向,展现 PAI 平台在推理服务侧的产品能力,助力企业和开发者在 AI 时代抢占先机,让我们一起探索云上 AI 推理的无限可能,释放大模型的真正价值!
|
缓存 并行计算 测试技术
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
阿里云PAI-全模态模型Qwen2.5-Omni-7B推理浅试
3190 12
|
人工智能 JavaScript API
DeepSeek-R1满血版上线阿里云,新用户专享100万token额度,5分钟快速部署!
DeepSeek是当前AI领域的热门话题,尤其其大模型备受关注。由于网页版访问时常超时,推荐使用阿里云百炼的API调用方式快速体验。此方法仅需五分钟,提供100万免费Token,有效期至2025年7月26日。用户可通过注册阿里云账户、开通服务、创建API-Key、安装并配置ChatBox客户端等步骤轻松上手。测试结果显示,DeepSeek-R1在回答问题、解释数学概念及编写代码等方面表现优异。部署成本低、操作简便,是体验DeepSeek的理想选择。
DeepSeek-R1满血版上线阿里云,新用户专享100万token额度,5分钟快速部署!
|
SQL 监控 供应链
如何开发ERP系统中的委外管理板块(附架构图+流程图+代码参考)
在ERP系统中,委外管理模块能有效提升企业生产效率、降低成本。通过工单下发、物料发放、退料、入库及数据分析等功能,实现对外部合作的全流程管理,确保信息透明与流程顺畅。本文详解模块开发技巧与实现方案,助力企业快速搭建高效委外管理体系。

热门文章

最新文章