DeepSeek-V4-Pro快速接入教程：使用阿里云GPU服务器全流程

DeepSeek-V4 是 DeepSeek 全新系列大模型，首次将 百万字（1M）超长上下文作为所有官方服务的标配，在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。本方案阿小云分享阿里云官网如何在阿里云 GPU 云服务器上，通过 vLLM 框架高效部署 DeepSeek-V4-Pro。阿里云 GPU 计算资源提供强大硬件支持，确保模型处理大规模数据时保持高性能和稳定性。部署预估费用1600元。阿里云GPU服务器官方链接：https://www.aliyun.com/product/egs

GPU服务器部署DeepSeek方案架构

本方案采用专有网络 VPC 及交换机，确保数据传输安全与网络可靠性，实现资源有效隔离和安全管理。我们利用 Ray Cluster 来实现高效的分布式计算，支持 vLLM 推理服务的部署以及大规模模型的加载。完成部署后，将在阿里云平台上构建一个稳定且可扩展的运行环境，如架构图所示。实际部署过程中，用户可以根据自身资源规划情况对配置进行适当调整，但最终建立的运行环境将基本保持与示意图一致的架构。

本方案的技术架构包括以下基础设施和云服务：

开始部署前，请按以下指引完成账号申请、账号充值等准备工作。

一、准备账号

1、如果您还没有阿里云账号，请访问 阿里云账号注册页面 ，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。

2、为阿里云账号充值。本方案的云资源支持按量付费，且默认设置均采用按量付费引导操作。如果确定任何一个云资源采用按量付费方式部署，账户余额都必须大于等于100元。

二、部署资源（VPC、安全组、云服务器ECS）

1、创建专有网络 VPC 和交换机

创建专有网络 VPC 和交换机，为云服务器 ECS 实例构建云上的私有网络。

1. 登录专有网络管理控制台。
   
2. 在顶部菜单栏，选择预购买 GPU 服务器地域。
   
3. 在左侧导航栏，单击专有网络。
   
4. 在专有网络页面，单击创建专有网络。
   
5. 在创建专有网络页面，配置 1 个专有网络和 1 台交换机。配置交换机时，请确保交换机所属的可用区的 ECS 处于可用状态。

2、创建安全组

创建 1 个安全组，用于限制该专有网络 VPC 下交换机的网络流入和流出。

1. 登录ECS 管理控制台。
   
2. 在左侧导航栏，选择网络与安全>安全组。
   
3. 在顶部菜单栏，选择预购买 GPU 服务器地域。
   
4. 在安全组页面，单击创建安全组。
   
5. 在创建安全组页面，创建 1 个安全组。

3、创建云服务器 ECS

接下来，您需要创建 1 个云服务器 ECS 实例，临时下模型，后续再同步给 GPU 云服务器。

1. 登录ECS 管理控制台。
   
2. 在顶部菜单栏，选择预购买 GPU 服务器地域。
   
3. 在左侧导航栏，选择实例与镜像 > 实例。
   
4. 在实例页面，单击创建实例。
   
5. 下表中未说明的参数，在本方案中可使用默认值。

三、下载模型

1、登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。

在右侧操作列，单击远程连接，并选择通过Workbench远程连接。根据页面提示登录，进入终端页面。具体操作请参见：使用Workbench登录ECS实例。

2、执行以下命令完成工具安装

yum install git  git-lfs tmux rsync -y

3、执行以下命令创建一个 tmux session

tmux

说明：下载模型耗时较长，建议在 tmux session 中启动部署，以免 ECS 断开连接导致下载中断。

4、执行以下命令，切换到模型下载目录

cd /mnt/

5、执行以下命令，从 ModelScope 拉取项目

GIT_LFS_SKIP_SMUDGE=1 git clone https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Pro

6、项目拉取完成后，执行以下命令，进入项目目录

cd DeepSeek-V4-Pro

7、执行以下命令，开始下载模型

git lfs pull

说明：模型总大小约 866 GB，以 12 MB/s 下载速度计算，预计耗时约 20 小时（受网络波动影响，实际约 18~24 小时）。

四、创建 GPU 资源

接下来您需要创建两台 GPU 云服务器，然后分别在两台服务器上完成环境的初始化。

1、创建GPU云服务器

1. 登录ECS 管理控制台。
   
2. 在左侧导航栏，选择实例与镜像 > 实例。
   
3. 在实例页面，单击创建实例。
   
4. 下表中未说明的参数，在本方案中可使用默认值。

2、初始化环境

1、远程连接云服务器ECS：

• 登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。
  
• 在右侧操作列，单击远程连接，并选择通过Workbench远程连接。
  
• 使用自定义密码，通过密码认证的方式进行登录。
  

2、等待GPU驱动安装完成。首次登录时系统将自动安装 GPU 驱动（约15分钟）。

如果界面没有显示安装进展，您也可以执行nvidia-smi命令确认驱动是否安装完成。如果执行后出现报错，请尝试执行以下命令重新安装 GPU 驱动。

sudo dnf install -y anolis-epao-release
sudo dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

3、驱动安装/重载完成后，系统服务会重启，将导致当前会话中断，这是正常现象。请重新连接实例。

4、初始化数据盘，运行以下命令列出所有磁盘及其大小，请根据容量（如 1000 GiB）识别你的数据盘设备名。本示例中，1000 GiB 数据盘的设备名为/dev/nvme1n1

sudo fdisk -lu

安装e2fsprogs工具以支持创建文件系统：

sudo dnf install -y e2fsprogs

为数据盘（本示例为/dev/nvme1n1，按实际替换）创建ext4文件系统：

sudo mkfs -t ext4 /dev/nvme1n1

将数据盘（本示例为/dev/nvme1n1，按实际替换）挂载到/mnt目录：

# 创建挂载目录
sudo mkdir -p /mnt

# 获取数据盘的 UUID
UUID=$(sudo blkid -s UUID -o value /dev/nvme1n1)

# 将数据盘挂载配置追加到 /etc/fstab 文件，实现开机自动挂载
echo "UUID=${UUID} /mnt ext4 defaults,nofail 0 2" | sudo tee -a /etc/fstab

# 立即应用 fstab 中的新配置
sudo mount -a

# 让 systemd 重新加载数据盘配置文件
sudo systemctl daemon-reload

检查挂载结果是否符合预期

df -Th

五、同步模型

接下来您需要同步 ECS 实例中的模型到两台 GPU 云服务器。

1、分别在两台 GPU 云服务器上执行以下命令，安装文件同步工具。

yum install -y rsync

2、然后在普通 ECS 实例中执行以下命令，完成两台 GPU 云服务器的模型同步。

# 同步到 GPU 服务器 1

rsync -avP /mnt/DeepSeek-V4-Pro/ root@192.x.x.x:/mnt/DeepSeek-V4-Pro

# 同步到 GPU 服务器 2
rsync -avP /mnt/DeepSeek-V4-Pro/ root@192.x.x.x:/mnt/DeepSeek-V4-Pro

六、部署 Ray Cluster

Ray 是一个开源分布式计算框架，专注于并行计算与资源调度。在大语言模型部署场景中，Ray 通过动态扩缩容和多节点协同，显著提升推理效率。其架构由主节点统一调度任务与管理资源，工作节点负责执行计算，节点间通过 RPC 通信与分布式对象存储实现高效协作。

1、分别在两台 GPU 的 ECS 控制台中执行以下命令，完成初始化环境安装。

curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/install.sh|sh

2、分别在两台 GPU 的 ECS 控制台中执行以下命令配置 Ray 集群。选择其中一台 GPU 服务器作为主节点：

在服务器上执行以下脚本，注意替换两个<主节点IP>为服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录：

HEAD_NODE_ADDRESS=<主节点IP> \
NODE_ADDRESS=<主节点IP> \
NODE_TYPE=--head \
MODEL_PATH=<MODEL PATH> \
/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"

执行以下命令查看启动日志：

docker logs node

输出结果如下图所示：

3、选择另一台 GPU 服务器作为工作节点（节点扩容）

在服务器上执行以下脚本，注意分别替换<主节点IP>和<工作节点IP>为主节点和工作节点服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录：

HEAD_NODE_ADDRESS=<主节点IP> \
NODE_ADDRESS=<工作节点IP> \
NODE_TYPE=--worker \
MODEL_PATH=<MODEL PATH> \
/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"

执行以下命令查看启动日志：

docker logs node

输出结果如下图所示：

4、查看 Ray 集群状态

待启动完成后，可以在任意节点执行以下命令查看 Ray 集群状态：

docker exec -it node ray status

正常启动后 Ray 集群状态如下图所示

六、启动推理服务

1、在主节点服务器上执行以下命令启动 vLLM 推理服务

curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/deploy.sh|sh

输出如下图所示，复制 vLLM API TOKEN 值 ：

2、执行以下命令查看服务日志

docker exec -it node tail -f vllm_serve_nohup.log

3、等待模型加载完成后即可进行 API 调用

七、方案验证

1、通过 curl 调用模型

在 Workbench 中开启一个新的终端会话，输入以下命令，等待模型输出。说明：请将以下代码中的 <vLLM API TOKEN > 替换为前面步骤获取的真实值。

curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <vLLM API TOKEN >" \
-d '{
"model": "DeepSeek-V4-Pro",
"messages": [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "好久不见～"}
]
}'

2、使用 Chatbox 调用模型

1、访问 Chatbox 下载地址下载并安装客户端，本方案以 macOS M5 为例。

2、运行并配置 vLLM API ，单击设置

3、在设置页面的左侧导航中，选择模型提供方，然后单击下方的添加按钮，按照如下表格进行配置。

4、保存配置信息后，即可回到聊天页面，选择刚刚配置的模型进行对话。

八、清理资源

若不用于生产环境，建议在体验后按提示清理资源，避免继续产生费用。

1. 释放云服务器ECS实例：
   登录ECS管理控制台，在实例页面，找到目标实例，然后在操作列选择 >释放，根据界面提示释放实例。
   
2. 删除安全组：
   登录ECS管理控制台，在安全组页面，找到目标安全组，然后在操作列单击删除，按照界面提示删除安全组。
   
3. 删除交换机：
   登录专有网络控制台，在交换机页面，找到目标交换机，然后在操作列单击删除，按照界面提示删除交换机。
   
4. 释放专有网络VPC：
   登录专有网络控制台，在专有网络页面，找到目标VPC，然后在操作列单击删除，按照界面提示释放专有网络VPC。