开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope大模型在单卡上可以做并发推理么?

ModelScope大模型在单卡上可以做并发推理么?

展开
收起
真的很搞笑 2023-10-08 19:34:27 323 0
2 条回答
写回答
取消 提交回答
  • ModelScope大模型在单卡上可以做并发推理,但是推理速度会受到影响。如果需要加速推理,可以考虑使用多卡并行推理 。另外,ModelScope提供了DistributedPipeline进行大模型推理,其中会进行并行环境初始化,启动多个子进程,每个子进程负责一张GPU卡上的部分模型任务。

    2023-10-12 16:32:36
    赞同 展开评论 打赏
  • 目前貌似不支持,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-10-08 20:17:38
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载