搞定昇腾软件版本配套问题

简介: 开发者拿到一个裸机环境,如800I A2/800T A2, 或Atlas 800 3000推理服务器(里面插了Iduo卡),需要用户根据OS版本去安装配套的固件驱动、Mind系列软件等。

场景

开发者拿到一个裸机环境,如800I A2/800T A2, 或Atlas 800 3000推理服务器(里面插了Iduo卡),需要用户根据OS版本去安装配套的固件驱动、Mind系列软件等。

物理机安装场景

1.先看安装指导:
点击链接

2.查询操作系统兼容性:
点击链接

3.确认固件驱动和CANN版本配套:
点击链接
一般建议选择新版本CANN和固件驱动,固件驱动有多个兼容版本,建议选最新版本。(可以根据软件发布时间来判断版本的新旧)

4.选择配套的Mind系列软件包:
点击链接
选择要安装的软件包,点击勾选:

根据上面步骤3确定的CANN版本,来选择配套资源;也可以勾选CPU架构。

容器安装场景

1.确认宿主机的驱动固件版本

npu-smi info

2.根据驱动固定,选择对应的镜像
镜像仓库链接:https://www.hiascend.com/developer/ascendhub

以MindIE镜像仓库为例:
提供了多个镜像版本

以1.0.0为例,先查询对应的CANN版本(参考《物理机安装场景》步骤4)
看到1.0.0建议配套cann8.0.0.beta1

再根据CANN版本去匹配驱动固件版本(参考《物理机安装场景》步骤3)
确认宿主机安装的驱动固件版本是否满足要求,不匹配需要升级固件驱动版本,操作参考链接

推荐使用方式

一般推荐使用容器安装方式。

一般用户是根据自己的业务场景,比如说要跑DeepSeek满血版推理,则需要去看对应的镜像哪个版本满足要求,然后再根据镜像安装的CANN版本去看宿主机的固件驱动版本是否满足,如果不满足需要升级驱动固件。

相关文章
|
存储 缓存 开发者
Mooncake 最新进展:SGLang 和 LMCache 基于 Mooncake 实现高效 PD 分离框架
近期,Mooncake 项目与 SGLang、vLLM 等主流大模型推理框架实现合作和适配,这些开源大模型推理框架可以通过使用 Mooncake 发布的 whl 包,支持 pip安装,docker 镜像部署等,实现了 PD 分离框架,极大提升了模型推理效率。
|
22天前
|
人工智能 物联网 开发工具
2026ComfyUI-保姆级部署教程-手把手带你ComfyUI工作流搭建
本教程面向零基础新手,详解2024最新版ComfyUI的安装、节点工作流(文生图/图生图)、ControlNet/Lora/Refiner模型配置、插件管理(如ComfyUI-Manager)及InsightFace部署,配图文步骤,助你快速上手AI绘图。
|
8月前
|
Ubuntu Linux 测试技术
Linux系统离线安装Docker完整指南
本文详细介绍在Ubuntu 24等Linux系统中离线安装Docker的完整流程,适用于内网隔离环境。涵盖安装包下载、`docker.service`配置、安装与卸载脚本编写、权限设置、镜像测试及用户组配置,并包含docker-compose的离线部署方法,助力高效完成生产环境搭建。
9649 4
Linux系统离线安装Docker完整指南
|
6月前
|
人工智能 数据可视化 测试技术
玩转Ollama:命令行操作、上下文长度调优与模型导入全攻略
Ollama是轻量级本地大模型运行工具,零配置即可快速启动AI模型。本文详解三大核心:高频CLI命令(运行/管理/创建模型)、上下文长度(Context Length)调优技巧、多格式(GGUF/Safetensors)自定义模型导入与量化分享,新手跟做即上手。
vllm+vllm-ascend本地部署QwQ-32B
本指南介绍如何下载、安装和启动基于Ascend的vLLM模型。首先,可通过华为镜像或Hugging Face下载预训练模型;其次,安装vllm-ascend,支持通过基础镜像(如`quay.io/ascend/vllm-ascend:v0.7.3-dev`)或源码编译方式完成;最后,使用OpenAI兼容接口启动模型,例如运行`vllm serve`命令,设置模型路径、并行规模等参数。适用于大模型推理场景,需注意显存需求(如QwQ-32B需70G以上)。
5170 17
|
Docker Windows 容器
解决 windows:An attempt was made to access a socket in a way forbidden by its access permissions
解决 windows:An attempt was made to access a socket in a way forbidden by its access permissions
4693 2
解决 windows:An attempt was made to access a socket in a way forbidden by its access permissions
|
缓存 测试技术 API
解锁开源模型高性能服务:SGLang Runtime 应用场景与实践
SGLang 是一个用于大型语言模型和视觉语言模型的推理框架。
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AI时代的“义务教育”:深度拆解LLM预训练核心原理与PyTorch源码实现
本文深入解析大模型预训练核心,以Qwen2.5为例,从Tokenizer、RoPE位置编码到GQA注意力机制,拆解LLM如何通过海量数据“炼”成。涵盖架构演进、关键技术与代码实现,带你手把手理解大模型“义务教育”阶段的底层逻辑。
518 7
|
8月前
|
开发工具 开发者 AI芯片
昇腾 Triton-Ascend 开源实战:架构解析、环境搭建与配置速查
本文深度解析Triton-Ascend开源项目,涵盖源码结构、编译流程与环境部署,重点针对Ascend 910B硬件提供从CANN安装到算子开发的保姆级指南,并详解Autotune调优策略与性能分析工具,助力开发者高效构建高性能AI算子。
1031 0