设置也无法指定gpu，是否在ModelScope模型内部修改代码？

您在pipeline初始化后推理之前加一行rex_uninlu_base.device = torch.device('cuda:2') 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

在ModelScope中，可以通过设置环境变CUDA_VISIBLE_DEVICES`来指定使用的GPU设备。例如，如果您想使用第2个GPU（索引为1），可以在启动Web UI之前执行以下命令：

export CUDA_VISIBLE_DEVICES=1
`da.current_device()`来获取当前使用的GPU设备。例如：

```python
import torch

# 获取当前使用的GPU设备
current_device = torch.cuda.current_device()
print("Current device:", current_device)

# 使用指定的GPU设备
device = torch.device(f'cuda:{current_device}')
with torch.cuda.device(device):
    rex_uninlu_base = pipeline(
        task=config['task'],
        model=config['model'],
        model_revision=config['model_revision'],
    )

这样，您就可以在ModelScope中指定使用的GPU设备了。