使用阿里云GPU服务器部署DeepSeek-R1模型图文教程，2026年最新新手AI大模型部署流程

#配置生产存储库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
  sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
#安装 NVIDIA Container Toolkit 软件包
sudo yum install -y nvidia-container-toolkit
#重启docker
sudo systemctl restart docker

#配置生产存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
#从存储库更新软件包列表
sudo apt-get update
#安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit
#重启docker
sudo systemctl restart docker

sudo docker pull egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04

# 定义要下载的模型名称。MODEL_NAME需要访问Modelscope选择模型，在模型详情页获取名称，脚本以DeepSeek-R1-Distill-Qwen-7B为例
MODEL_NAME="DeepSeek-R1-Distill-Qwen-7B"
# 设置本地存储路径。确保该路径有足够的空间来存放模型文件（建议预留模型大小的1.5倍空间），此处以/mnt/7B为例
LOCAL_SAVE_PATH="/mnt/7B"

# 如果/mnt/7B目录不存在，则创建它
sudo mkdir -p ${LOCAL_SAVE_PATH}
# 确保当前用户对该目录有写权限，根据实际情况调整权限
sudo chmod ugo+rw ${LOCAL_SAVE_PATH}

# 启动下载，下载完成后自动销毁
sudo docker run -d -t --network=host --rm --name download \
-v ${LOCAL_SAVE_PATH}:/data \
egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04 \
/bin/bash -c "git-lfs clone https://www.modelscope.cn/models/deepseek-ai/${MODEL_NAME}.git /data"

sudo docker logs -f download

# 定义要下载的模型名称。MODEL_NAME需要访问Modelscope选择模型，在模型详情页获取名称，脚本以DeepSeek-R1-Distill-Qwen-7B为例
MODEL_NAME="DeepSeek-R1-Distill-Qwen-7B"
# 设置本地存储路径。确保该路径有足够的空间来存放模型文件（建议预留模型大小的1.5倍空间），此处以/mnt/7B为例
LOCAL_SAVE_PATH="/mnt/7B"

# 定义服务运行时监听的端口号。可以根据实际需求进行调整，默认使用30000端口
PORT="30000"

# 定义使用的GPU数量。这取决于实例上可用的GPU数量，可以通过nvidia-smi -L命令查询
# 这里假设使用4个GPU
TENSOR_PARALLEL_SIZE="4"

# 创建目录并设置权限。如果目录不存在，则创建它，并确保当前用户对该目录有读写权限。
sudo mkdir -p ${LOCAL_SAVE_PATH}
sudo chmod ugo+rw ${LOCAL_SAVE_PATH}

# 启动Docker容器并运行服务
sudo docker run -d -t --network=host --gpus all \
    --privileged \
    --ipc=host \
    --name ${MODEL_NAME} \
    -v ${LOCAL_SAVE_PATH}:/data \
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04 \
    /bin/bash -c "vllm serve /data \
        --port ${PORT} \
        --served-model-name ${MODEL_NAME} \
        --tensor-parallel-size ${TENSOR_PARALLEL_SIZE} \
        --max-model-len=16384 \
        --enforce-eager \
        --dtype=half"

sudo docker logs ${MODEL_NAME}

INFO:     Uvicorn running on http://0.0.0.0:30000 (Press CTRL+C to quit)

sudo docker pull alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/python:3.11.1

#设置模型服务地址
OPENAI_API_BASE_URL=http://127.0.0.1:30000/v1

# 创建数据目录,确保数据目录存在并位于/mnt下
sudo mkdir -p /mnt/open-webui-data

#启动open-webui服务
sudo docker run -d -t --network=host --name open-webui \
-e ENABLE_OLLAMA_API=False \
-e OPENAI_API_BASE_URL=${OPENAI_API_BASE_URL} \
-e DATA_DIR=/mnt/open-webui-data \
-e HF_HUB_OFFLINE=1 \
-v /mnt/open-webui-data:/mnt/open-webui-data \
alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/python:3.11.1 \
/bin/bash -c "pip config set global.index-url http://mirrors.cloud.aliyuncs.com/pypi/simple/ && \
pip config set install.trusted-host mirrors.cloud.aliyuncs.com && \
pip install --upgrade pip && \
pip install open-webui==0.5.10 && \
mkdir -p /usr/local/lib/python3.11/site-packages/google/colab && \
open-webui serve"

sudo docker logs -f open-webui

INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)