备案控制台

开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope大模型在单卡上可以做并发推理么？

ModelScope大模型在单卡上可以做并发推理么？

展开

收起

真的很搞笑 2023-10-08 19:34:27 323 0

2 条回答

写回答

取消提交回答

Kinging

ModelScope大模型在单卡上可以做并发推理，但是推理速度会受到影响。如果需要加速推理，可以考虑使用多卡并行推理。另外，ModelScope提供了DistributedPipeline进行大模型推理，其中会进行并行环境初始化，启动多个子进程，每个子进程负责一张GPU卡上的部分模型任务。

2023-10-12 16:32:36

赞同展开评论打赏
芯在这

目前貌似不支持，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-10-08 20:17:38

赞同展开评论打赏

相关问答

modelscope-funasr的vad模型并发问题有解决方案吗？

10

0

0

我想要一个能识别图片内容和进行对话的多模态大模型，ModelScope有推荐吗？

13

1

0

大模型生成速度太慢了用model scope的swift有提升么？

13

1

0

在ModelScope魔搭社区DSW平台操作的，为啥左侧目录找不到下载的大模型文件？

5

1

0

ModelScope swift web-ui怎么部署在web-ui上微调好的模型呢？

8

1

0

ModelScope如果只有一张卡，多人提问。是推理完一个提问后才会进行下一个提问的推理吗？

5

0

0

modelscope-funasr的AutoModel 支持并发调用？

22

1

0

modelscope-funasr300路并发大致需要什么样的配置？

6

1

0

下载大模型中的大文件时候总是会提示modelscope连接错误，怎么解决？

12

0

0

在本地部署一个qwen7b的模型，提供峰值100的并发，modelscope需要怎么样的硬件配置？

20

0

0

ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

热门讨论

热门文章

com/action/joingroup?code=v1是什么意思

ModelScope中，模型下载默认路径在哪个路径？

ModelScope 使用14B模型推理时报这个错误？

我希望通过damo-YOLO训练1500*1500的图片

服务器上onnxruntime-gpu 调用结束，如何释放显存

streamlit 生成链接无法访问，gradio只生成内网，无法生成公网

ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？

Modelscope魔塔的创空间的文件怎么下载到本地呀？

在ModelScope中，请问模型下载到本地的具体方法？

在ModelScope中，llama-7b和llama-7b-hf和llama7b-ms有啥不同？

展开全部

modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量

关键点检测从入门到进阶

Stable Diffusion 介绍与入门

图像分类基础与实战

Stable Diffusion使用窍门

ModelScope模型使用与EAS部署调用

视觉AI技术体系及趋势概述

AI给你送年画啦！每一张都是独一无二

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

视觉AI能力的开放现状及ModelScope实战 立即下载

ModelScope助力语音AI模型创新与应用 立即下载

低代码开发师（初级）实战教程 立即下载