30分钟私有部署Deepseek-R1和V3,轻松拥有企业专属超大模型

简介: 阿里云计算巢推出了基于 ECS镜像、Vllm和Ray集群的超大模型一键部署方案。该方案通过预置标准化环境的ECS镜像,结合自动化云资源编排模板(如Ros模板),将Deepseek-R1和Deepseek-V3的私有化部署流程简化为一键操作。用户无需深入理解底层技术细节,即可在 30分钟内 快速完成模型环境搭建与服务启动,真正实现“开箱即用”的企业级超大模型服务。

背景

随着大模型技术的快速发展,开源大模型在自然语言处理、代码生成、多语言理解等领域的应用日益广泛。Deepseek-R1 和 Deepseek-V3 作为行业领先的开源大模型,凭借其卓越的性能、丰富的应用场景和高度的灵活性,迅速成为企业智能化转型的关键工具。Deepseek-R1 在代码生成、对话理解和多语言支持等任务中展现出强大的能力,而 Deepseek-V3 则以多模态支持、复杂推理能力和资源效率优化为核心优势,为企业提供覆盖多场景的智能化解决方案。

截屏2025-04-10 14.37.51.png

截屏2025-04-10 14.37.34.png

然而,企业用户在部署私有化超大规模模型时仍面临诸多挑战。传统基于IaaS的部署方式需要用户自行管理环境配置、依赖安装、硬件资源调优以及复杂的网络与存储问题,整个流程通常需要数小时甚至数天,并且容易因版本冲突、资源分配不当或操作失误导致部署失败或性能瓶颈,严重制约了模型的快速落地与规模化应用。如阿里云技术解决方案提供的基于GPU云服务器部署Deepseek-R1满血版方案,实操部署较为繁琐。
截屏2025-04-10 14.17.51.png

为此,阿里云计算巢推出了基于 ECS镜像、Vllm和Ray集群的超大模型一键部署方案。该方案通过预置标准化环境的ECS镜像,结合自动化云资源编排模板(如Ros模板),将Deepseek-R1和Deepseek-V3的私有化部署流程简化为一键操作。用户无需深入理解底层技术细节,即可在 30分钟内 快速完成模型环境搭建与服务启动,真正实现“开箱即用”的企业级超大模型服务。这一方案不仅大幅降低了技术门槛,更通过阿里云的弹性RDMA高性能推理优化,确保模型在企业场景中实现高可用、低延迟的推理服务,助力企业快速解锁AI驱动的业务价值。

部署说明

本服务提供了基于ECS镜像+Vllm+Ray的大模型一键部署方案,30分钟即可通过双ECS实例部署使用DeepSeek-R1满血版和DeepSeek-V3模型。

本服务通过ECS镜像打包标准环境,通过Ros模版实现云资源与大模型的一键部署,开发者无需关心模型部署运行的标准环境与底层云资源编排,仅需添加几个参数即可享受DeepSeek-R1满血版和DeepSeek-V3的推理体验。

本服务提供的方案下,以平均每次请求的token为10kb计算,采用两台ebmgn8v规格的ECS实例,DeepSeek-R1满血版理论可支持的每秒并发请求数(QPS)约为75,DeepSeek-V3约为67。

整体架构

arch-ecs-two.png

部署流程

  1. 单击部署链接。选择双机版,并确认已申请ebmgn8v实例规格。根据界面提示填写参数,可根据需求选择是否开启公网,可以看到对应询价明细,确认参数后点击下一步:确认订单
    deploy-ecs-two-1.png
    deploy-ecs-one-2.png

  2. 点击下一步:确认订单后可以看到价格预览,随后可点击立即部署,等待部署完成。(提示RAM权限不足时需要为子账号添加RAM权限)
    price-ecs-two.png

  3. 等待部署完成后,就可以开始使用服务了。点击服务实例名称,进入服务实例详情,使用Api调用示例即可访问服务。如果是内网访问,需保证ECS实例在同一个VPC下。
    deploying-ecs-two.png
    result-ecs-two-1.png
    result-ecs-two-2.png

使用说明

内网API访问

复制Api调用示例,在资源标签页的ECS实例中粘贴Api调用示例即可。也可在同一VPC内的其他ECS中访问。
result.png
private-ip-ecs-two-1.png
private-ip-ecs-two-2.png

公网API访问

复制Api调用示例,在本地终端中粘贴Api调用示例即可。
result-ecs-two-2.png
public-ip-ecs-two-1.png

性能测试

本服务方案下,针对Deepseek-R1和V3,分别测试QPS为75和60情况下模型服务的推理响应性能,压测持续时间均为20s。

Deepseek-R1

QPS为75

qps75-r1-ecs-two.png

Deepseek-V3

QPS为60

qps60-v3-ecs-two.png

相关文章
|
人工智能 并行计算 安全
从零到一,打造专属AI王国!大模型私有化部署全攻略,手把手教你搭建、优化与安全设置
【10月更文挑战第24天】本文详细介绍从零开始的大模型私有化部署流程,涵盖需求分析、环境搭建、模型准备、模型部署、性能优化和安全设置六个关键步骤,并提供相应的示例代码,确保企业能够高效、安全地将大型AI模型部署在本地或私有云上。
3678 7
|
9月前
|
存储 监控 安全
基于阿里云的最低成本私有化部署DeepSeek
本方案详细介绍了基于阿里云的成本优化策略与部署架构,涵盖计算、存储、网络资源选型及优化技巧。核心内容包括:突发性能实例(如`ecs.g7.large`)结合预留实例券降低计算成本;高效云盘与ESSD AutoPL分层存储设计;内网DNS优化及带宽流量包控制网络支出。同时提供负载均衡配置、自动伸缩规则与安全加固措施,确保系统稳定运行。通过七大降本技巧(如抢占式实例、智能分层存储、RDS Serverless版等),实现总月成本控制在¥450左右,仅为传统方案的1/3以下。最后附带成本监控仪表盘与持续优化建议,助力企业高效管理云资源。
807 7
|
弹性计算 Apache 云计算
产品动态丨阿里云计算巢月刊-2025年第4期
让优秀的企业软件生于云、长于云
|
8月前
|
人工智能 自然语言处理 运维
Bolt.diy 一键部署,“一句话”实现全栈开发
Bolt.diy 是 Bolt.new 的开源版本,提供更高灵活性与可定制性。通过自然语言交互简化开发流程,支持全栈开发及二次开发,使零基础开发者也能实现从创意到云端部署的完整链路。本方案基于阿里云函数计算 FC 搭建,集成百炼模型服务,快速完成云端部署。用户可通过对话开启首个项目,两步完成部署并获300社区积分。方案优势包括多模型适配、高度定制化、全栈开发支持及智能化辅助工具,助力高效开发与创新。
783 102
|
8月前
|
人工智能 算法 网络安全
基于PAI+专属网关+私网连接:构建全链路Deepseek云上私有化部署与模型调用架构
本文介绍了阿里云通过PAI+专属网关+私网连接方案,帮助企业实现DeepSeek-R1模型的私有化部署。方案解决了算力成本高、资源紧张、部署复杂和数据安全等问题,支持全链路零公网暴露及全球低延迟算力网络,最终实现技术可控、成本优化与安全可靠的AI部署路径,满足企业全球化业务需求。
|
8月前
|
存储 Java
【源码】【Java并发】【ThreadLocal】适合中学者体质的ThreadLocal源码阅读
前言 下面,跟上主播的节奏,马上开始ThreadLocal源码的阅读( ̄▽ ̄)" 内部结构 如下图所示,我们可以知道,每个线程,都有自己的threadLocals字段,指向ThreadLocalMap
526 81
【源码】【Java并发】【ThreadLocal】适合中学者体质的ThreadLocal源码阅读
|
4月前
|
人工智能 数据可视化 API
私有化部署大模型并配置可视化界面
Ollama 是一款专为大模型本地私有化部署设计的轻量级工具,支持跨平台运行,兼容 Windows、macOS、Linux 系统及多种硬件架构。通过简单的命令行操作,用户可一键启动、下载与管理主流大语言模型,如 Llama 3、Mistral、Gemini、Phi 等。其核心优势在于自动化处理模型依赖、资源调度及环境配置,大幅简化部署流程,即使非专业技术人员也能快速上手。Ollama 的本地运行模式确保数据全程在私有环境流转,规避隐私泄露风险,适用于企业内部知识库、客服助手、本地数据分析等场景。
732 0
私有化部署大模型并配置可视化界面
|
10月前
|
前端开发 安全 开发工具
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
625 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
|
12月前
|
API 数据库 决策智能
基于百炼平台qwen-max的api 打造一套 检索增强 图谱增强 智能工具调用决策的智能体
本文介绍了一种基于阿里云百炼平台的`qwen-max` API构建的智能体方案,该方案集成了检索增强、图谱增强及智能工具调用决策三大模块,旨在通过结合外部数据源、知识图谱和自动化决策提高智能回答的准确性和丰富度。通过具体代码示例展示了如何实现这些功能,最终形成一个能灵活应对多种查询需求的智能系统。
890 11
|
8月前
|
安全 Shell Linux
Linux系统之su命令的基本使用
Linux系统之su命令的基本使用
484 4
Linux系统之su命令的基本使用