ModelScope 如何使用 GPU 加载模型？

如果你在设置pipeline参数时指定了device="GPU"，但实际运行过程中仍然使用的是CPU，那么可能存在以下几种情况：

1. 没有可用的GPU：检查你的系统是否真的有可使用的GPU。你可以通过命令行工具（如nvidia-smi）来查看当前的GPU状态。

2. 未安装GPU驱动或CUDA库：确保你已经正确安装了与你的GPU兼容的NVIDIA GPU驱动以及CUDA库。如果没有安装或者版本不匹配，GPU可能无法被识别和使用。

pipeline推理时指定device='gpu'或'cuda:0' ；按照cuda版本重装一下torch，nvcc --version可以查看cuda版本 。此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”