怎么排查GPU 服务器 5 大高频故障？

本文由翼龙云yilongcloud撰写。
一、故障 1：GPU 驱动崩溃

典型报错：
NVIDIA-SMI has failed | Xid errors
排查步骤：
执行诊断命令：

dmesg | grep NVRM # 检查内核日志
nvidia-bug-report.sh # 生成完整诊断报告
检查驱动兼容性：
1.确认驱动版本与 CUDA 工具链匹配（NVIDIA 官方兼容表）
2.避免混合安装不同版本驱动

二、故障 2：显存溢出

典型报错：
CUDA out of memory
优化策略：
监控工具nvidia-smi
关键命令watch -n 1 nvidia-smi
优化目标：实时显存占用

监控工具dcgmi
关键命令dcgmi dmon -e 1009
优化目标：显存泄漏检测

监控工具pytorch
关键命令torch.cuda.empty_cache()
优化目标：主动释放缓存

三、故障 3：散热异常
硬件预警指标：
⚠️ 持续温度 > 85℃ | 风扇转速 > 80%
排查流程：
A[温度报警] --> B{服务器位置}
B -->|密闭机柜| C[增加导风罩]
B -->|开放环境| D[检查散热片积尘]
C & D --> E[调整功耗墙]
E --> F[设置温度阈值告警]

四、故障 4：PCIe 带宽瓶颈
性能表征：
GPU 利用率波动大
数据传输耗时激增
诊断工具：
nvidia-smi topo -m # 查看GPU拓扑
bandwidthTest # 测试PCIe传输速率

优化建议：选择 PCIe 4.0 x16 机型（如 AWS p4d / 华为云 Pi2）

五、故障 5：CUDA 环境冲突
经典案例：
多版本 CUDA 并存导致libcudart.so链接错误
环境隔离方案：
使用容器化部署 docker run --gpus all -it nvcr.io/nvidia/pytorch:23.05-py3 # 或使用conda虚拟环境
conda create -n cuda11.8 python=3.9
conda install cudatoolkit=11.8