modelScope用显存推理应该加什么参数？

在使用ModelScope进行显存推理时，如果遇到显存使用量过高的问题，您可以尝试以下方法：

1. 减小模型尺寸：您可以选择更小的模型，这样可以减少模型参数和计算量，从而降低显存的需求。例如，对于一些需要大量显存的大模型，可以考虑使用轻量级模型。

2. 使用分布式推理：如果您有可用的多个GPU，可以尝试使用分布式推理来将负载分散到多个GPU上，从而降低单个GPU的显存压力。

在具体的ModelScope操作中，可以在pipeline函数中添加gpu_mem参数来限制显存的使用。例如，gpu_mem=8000表示限制显存使用量为8GB。但请注意，设置的值不能超过实际显存的大小。

pipeline初始化时device='gpu'。但一般会自动用显卡。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”