开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu?

modelscope-funasr怎么设置使得模型可以用CUDA0以外的其他gpu?设置device='cuda:1'模型在cuda 0之外的gpu上面做推理就会出现 RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0

展开
收起
三分钟热度的鱼 2024-08-28 19:53:15 54 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    模型是基于PyTorch构建的,确保在模型加载和推理时,通过.to(device)方法将模型转移到目标GPU上,这里的device应该是你想要使用的GPU,比如device = torch.device('cuda:1'),然后model.to(device)。

    确保所有输入数据、中间变量以及模型都在同一个GPU上。如果使用 DataLoader,可以通过num_workers参数指定使用哪个GPU,并且在数据加载时就将数据转移到目标GPU。

    2024-09-02 09:20:33
    赞同 66 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
DeepStream: GPU加速海量视频数据智能处理 立即下载
阿里巴巴高性能GPU架构与应用 立即下载
GPU在超大规模深度学习中的发展和应用 立即下载