ModelScope中，请问下pipline推理支持多卡并发吗？

ModelScope 提供了 Pipeline 推理功能，可以实现模型的流水线推理，从而提高推理速度和吞吐量。它支持多 GPU 并发，以提高处理速度和效率。
当您在配置 Pipeline 推理时，可以选择设置 GPU 数量，并控制每个 GPU 上的任务数量。根据您的设备性能和任务特点，合理调整 GPU 数量和任务数量，可以最大限度地提高推理速度和效率。

ModelScope中的pipeline方法支持多卡并发推理。这种方法可以对多领域的多种模型进行快速推理，用户只需要一行代码即可完成对特定任务的模型推理。在运行模型时，可以通过device参数来指定模型运行的设备，如GPU。如果遇到只使用了0卡的问题，可能是设备编号错误或设备不可用等原因，需要检查设备编号和设备可用性。此外，为了优化推理速度，可以尝试使用更高级的硬件、对模型进行量化、改变batch size和使用数据增强等方式。

目前还不支持。——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①

在 ModelScope 中，模型 pipeline 推理并不支持多卡并发。这是因为 pipeline 推理涉及到多个模型之间的转换和通信，在当前架构下很难实现多卡并行计算。ModelScope 支持 GPU 加速的模型推理和分布式计算框架（如 Horovod），因此您可以尝试采用其他方法来提高模型推理效率

是的，ModelScope中的pipelines可以支持多卡并发进行推理。在这种情况下，不同的数据将会被分发到多个GPU上进行并行处理，从而提高整体的推理效率。需要注意的是，为了充分利用多卡的优势，需要确保模型本身也支持多卡并发操作。如果模型不支持多卡并发，则无法使用此功能。