本地部署Qwen3-4B 模型,无法调用GPU

win10下环境已经配置好,
检查一下CUDA和显卡:
import torch
print("CUDA 可用:", torch.cuda.is_available())
print("GPU 数量:", torch.cuda.device_count())
print("GPU 型号:", torch.cuda.get_device_name(0))

运行上述代码输出:
CUDA 可用: True
GPU 数量: 1
GPU 型号: NVIDIA GeForce RTX 4060 Laptop GPU

可以看出CUDA和GPU都能够被识别,但是在运行模型主页上给的快速访问Python代码时就是调用不了GPU。

推理全程在CPU上进行。

之前使用ollama进行部署和调用没有出过问题,modelscope是第一次用,不确定如何trouble shoot。

展开
收起
游客lztrts5drmmq4 2025-11-13 11:05:22 35 分享 版权
0 条回答
写回答
取消 提交回答

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理