win10下环境已经配置好,
检查一下CUDA和显卡:
import torch
print("CUDA 可用:", torch.cuda.is_available())
print("GPU 数量:", torch.cuda.device_count())
print("GPU 型号:", torch.cuda.get_device_name(0))
运行上述代码输出:
CUDA 可用: True
GPU 数量: 1
GPU 型号: NVIDIA GeForce RTX 4060 Laptop GPU
可以看出CUDA和GPU都能够被识别,但是在运行模型主页上给的快速访问Python代码时就是调用不了GPU。
推理全程在CPU上进行。
之前使用ollama进行部署和调用没有出过问题,modelscope是第一次用,不确定如何trouble shoot。