普惠AI 如何在 Anolis OS 8 上部署生产可用的 DeepSeek 推理服务

简介: DeepSeek部署教程手把手教学。

9.png

背景介绍

DeepSeek-R1

DeepSeek-R1 在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1 正式版。DeepSeek-R1-Distill-Qwen 则是通过 DeepSeek-R1 的输出,基于 Qwen 大语言模型,经过模型蒸馏的小模型,其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。 

龙蜥操作系统

龙蜥操作系统 Anolis OS 8 是 OpenAnolis 龙蜥社区发行的开源 Linux 发行版,支持多计算架构,提供稳定、高性能、安全、可靠的操作系统支持。Anolis OS 8 中通过引入龙蜥生态软件仓库(EPAO),实现一键安装部署 AI 开发环境,解决了 AI 组件之间繁琐的依赖关系,加速 AI 应用的开发、部署流程。

EPAO 仓库为开发者提供了一键安装主流 NVIDIA GPU 驱动和 CUDA 加速库的功能,简化了驱动版本匹配和手动安装的繁琐过程。仓库中的组件均经过兼容性测试,确保一键安装时无需修改系统依赖项,从而提升了使用过程中的稳定性。

AC2

Alibaba Cloud AI Containers(简称 AC2)是阿里云官方推出的一系列 AI 容器镜像的合集。通过内置不同的硬件加速库、AI 运行时、AI 框架等满足用户不同场景的部署使用诉求,并通过与阿里云基础设施(ECS、ACK、ACS)深度优化,提升用户在阿里云上的 AI 性能和体验。

模型部署

前置准备

部署前需要准备

  1. NVIDIA GPU 实例(显存不小于 16G):示例使用阿里云 ecs.gn7i-c8g1.2xlarge 规格实例
  2. 运行 Anolis OS 8 系统
  3. 不小于 60G 存储空间
  4. 公网访问能力,并开放 8000 端口

准备容器运行环境

1. 在 Anolis OS 8 上使用 EPAO 仓库安装 NVIDIA 驱动以及 CUDA 驱动。

dnf install -y anolis-epao-release
dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

2. 在 Anolis OS 8 上安装 Docker 运行环境,并安装 NVIDIA Container Toolkit 来支持 GPU 容器。

dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
dnf install -y docker-ce nvidia-container-toolkit
systemctl restart docker

3. 安装运行依赖系统组件。

dnf install -y curl jq git{,-lfs}
git lfs install

4. 下载模型文件,下载耗时较长(约 30 分钟),且阻塞终端输入。模型下载为当前目录下的 DeepSeek-R1-Distill-Qwen-7B。

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

运行 DeepSeek 容器

1. 从 AC2 拉取容器镜像,并运行 DeepSeek 部署容器。镜像会检查「MODEL_DIR」环境变量设置的模型目录下是否存在模型文件,并运行自动启动 vLLM 推理服务,以 OpenAI API 接口透出服务。

docker run -d -p 8000:8000 --gpus all \
  -v ./DeepSeek-R1-Distill-Qwen-7B:/models/DeepSeek-R1-Distill-Qwen-7B \
  -e MODEL_DIR=/models/DeepSeek-R1-Distill-Qwen-7B \
  ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/qwen2:7b-pytorch2.4.0-cuda12.1.1-py310-alinux3.2104

2. 容器运行后可以使用 docker logs  来查看容器运行日志,正常运行后日志输入如下所示。API 服务已在本地 8000 端口运行。

INFO 02-11 01:16:33 launcher.py:19] Available routes are:
INFO 02-11 01:16:33 launcher.py:27] Route: /openapi.json, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /docs, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /docs/oauth2-redirect, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /redoc, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /health, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /tokenize, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /detokenize, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/models, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /version, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/chat/completions, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/completions, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/embeddings, Methods: POST
INFO:     Started server process [10]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on socket ('0.0.0.0', 8000) (Press CTRL+C to quit)
INFO 02-11 01:16:43 metrics.py:345] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%.
INFO 02-11 01:16:53 metrics.py:345] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%.

3. 通过 cURL 实用程序可以测试模型推理效果,例如提问「9.9和9.11哪个大?」。

curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "/models/DeepSeek-R1-Distill-Qwen-7B", 
       "messages": [{"role": "user", "content": "9.9和9.11哪个大?"}], 
       "max_tokens": 1024, "temperature":"0.9" 
      }' | \
  jq '.choices[0].message.content' | \
  xargs echo -e

4. 模型输出如下,由于 DeepSeek-R1 为推理模型,模型输出大致分为思考部分以及回答部分。

总结

DeepSeek-R1 在数学推理、编程竞赛等多个任务上表现出色,不仅超过了其他闭源模型,而且在某些任务上接近或超越了 OpenAI-o1 系列模型。一经发布,火爆海内外。本文介绍了如何在 Anolis OS 8 上使用 AC2 容器部署生产可用的 DeepSeek 推理服务


通过 Anolis OS 8 所提供的原生 AI 能力,结合 AC2 容器化 AI 运行环境的预配置,用户得以免去自行部署 CUDA 驱动及安装 PyTorch/vLLM 等繁琐步骤,极大地简化了部署流程,有效规避了因组件与驱动版本不兼容所引发的潜在问题,更专注于核心业务逻辑,而无需被底层技术细节所困扰。这一创新组合显著降低了在生产环境中部署人工智能技术的门槛,真正使得 AI 技术普惠广大用户。


我们也设立了动手实践环节,欢迎大家沉浸式体验,链接见下:

https://developer.aliyun.com/adc/scenario/311001730508

—— 完 ——

相关文章
|
17天前
|
机器学习/深度学习 自然语言处理 算法
AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了
大家都可以通过写 prompt 来和大模型对话,那大模型之前的算法是怎样的,算法世界经过了哪些比较关键的发展,最后为什么是大模型这条路线走向了 AGI,作者用两篇文章共5.7万字详细探索一下。
AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了
|
3天前
|
机器学习/深度学习 人工智能 资源调度
从 DeepSeek 到 AI 工具箱:Websoft9 应用托管平台赋能高校教学与科研
Websoft9应用托管平台整合DeepSeek大模型与主流AI工具,助力高校教学与科研智能化转型。平台解决环境部署碎片化、资源利用低效及技术应用孤岛化等挑战,通过智能内核层、工具矩阵层和资源调度层实现高效技术融合。实际案例显示,平台显著提升教学精准度与科研协作效率,同时遵循开放兼容、安全可控等原则,推动认知增强型课堂与虚实联动实验空间的构建,为高等教育带来可持续发展的智能化基座。
31 1
|
15天前
|
人工智能 安全 搜索推荐
Manus:AI 领域的又一次 "DeepSeek 时刻"?
Manus是由Monica.im团队推出的一款全球首款通用型AI Agent,具备自主规划、分析和执行复杂任务的能力,不仅限于对话式AI。它在GAIA基准测试中超越了GPT-4等主流模型,能够自动完成市场调研、代码开发、文件处理等任务,被誉为AI领域的“DeepSeek时刻”。目前Manus处于内测阶段,邀请码供不应求,甚至在灰色市场上被炒至高价。其技术突破和稀缺性营销引发了市场的广泛关注,可能引领AI进入全新的“代理时代”。
214 91
Manus:AI 领域的又一次 "DeepSeek 时刻"?
|
8天前
|
机器学习/深度学习 物联网 PyTorch
小白避坑指南:国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录(附镜像加速方案)
本文详细记录了使用Colossal-Ai对DeepSeek-Qwen模型进行微调的过程,包括模型下载、环境部署、数据集处理及代码实现等环节。重点介绍了LoRA低秩适配方法和Colossal-Ai分布式训练框架的使用技巧,解决了模型封装后函数调用冲突、梯度检查点配置等问题。通过命令行参数灵活调整训练配置,最终在两块A100 GPU上完成训练,单卡显存占用约11GB,利用率达85%。文章总结了常见问题及解决方法,为后续研究提供参考。
78 15
小白避坑指南:国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录(附镜像加速方案)
|
21天前
|
人工智能 运维 监控
从大规模恶意攻击 DeepSeek 事件看 AI 创新隐忧:安全可观测体系建设刻不容缓
从大规模恶意攻击 DeepSeek 事件看 AI 创新隐忧:安全可观测体系建设刻不容缓
|
4天前
|
机器学习/深度学习 人工智能 搜索推荐
DeepSeek 速成指南:普通人也能秒懂的 AI 实战手册
DeepSeek 是一款强大的中文大语言模型,能处理长文本、多模态输入,适用于职场、学习、生活等场景。它擅长文案创作、数据分析与复杂任务拆解,相比 ChatGPT,在中文表达和网络热梗上更具优势。掌握精准提问、结果校验和效率工具三大技能,可大幅提升使用效果。同时,避免过度依赖、隐私泄露和伦理模糊的“三大天坑”,并通过角色扮演、思维链拆解等进阶技巧挖掘潜力。DeepSeek 不是替代品,而是助力你高效完成任务、拓展知识边界的超级大脑。未来属于善于与 AI 协作的人,立即行动,设计专属协作流程!
34 0
DeepSeek 速成指南:普通人也能秒懂的 AI 实战手册
|
14天前
|
人工智能 自然语言处理 前端开发
Spring AI与DeepSeek实战二:打造企业级智能体
本文介绍如何基于Spring AI与DeepSeek模型构建企业级多语言翻译智能体。通过明确的Prompt设计,该智能体能自主执行复杂任务,如精准翻译32种ISO标准语言,并严格遵循输入格式和行为限制。代码示例展示了如何通过API实现动态Prompt生成和翻译功能,确保服务的安全性和可控性。项目已开源,提供更多细节和完整代码。 [GitHub](https://github.com/zlt2000/zlt-spring-ai-app) | [Gitee](https://gitee.com/zlt2000/zlt-spring-ai-app)
133 11
|
14天前
|
人工智能 JavaScript 前端开发
【最佳实践系列】AI程序员让我变成全栈:基于阿里云百炼DeepSeek的跨语言公告系统实战
本文介绍了如何在Java开发中通过跨语言编程,利用阿里云百炼服务平台的DeepSeek大模型生成公告内容,并将其嵌入前端页面。
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
大家都可以通过写 prompt 来和大模型对话,那大模型之前的算法是怎样的,算法世界经过了哪些比较关键的发展,最后为什么是大模型这条路线走向了 AGI,作者用两篇文章共5.7万字详细探索一下。 第一篇文章指路👉《AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了》
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
|
11天前
|
人工智能 自然语言处理 API
AI双轨革命:DeepSeek与Manus
DeepSeek与Manus是当前人工智能领域的两款明星产品,技术定位和核心能力各有千秋。DeepSeek基于混合专家模型,参数达6710亿,擅长知识推理与文本生成,提供高性价比的企业级应用;Manus采用多智能体协作架构,实现任务全流程自动化,支持跨平台工具调用。两者并非直接竞争,而是互补,共同推动AI向智慧化和实用化发展。
72 2

热门文章

最新文章