AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

ModelScope大模型在单卡上可以做并发推理么？

ModelScope大模型在单卡上可以做并发推理么？

展开
收起
真的很搞笑 2023-10-08 19:34:27 741 分享 版权
2 条回答
写回答
取消 提交回答
  • Kinging

    ModelScope大模型在单卡上可以做并发推理，但是推理速度会受到影响。如果需要加速推理，可以考虑使用多卡并行推理 。另外，ModelScope提供了DistributedPipeline进行大模型推理，其中会进行并行环境初始化，启动多个子进程，每个子进程负责一张GPU卡上的部分模型任务。

    2023-10-12 16:32:36
    赞同 展开评论
  • 芯在这

    目前貌似不支持，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-10-08 20:17:38
    赞同 展开评论
相关问答
modelscope-funasr使用离线这个推理示例音频的时候，报了错误，是为什么？
130
1
0
modelscope-funasr的paraformer-zh模型现在推理输出， 是带时间戳的吗？
350
1
0
EasyNLP框架如何解决大模型参数量大、训练和推理速度慢的问题？
81
1
0
大模型应用推理要至少80GB 显存，有什么推荐的服务器？
290
1
0
通过文档上传接口上传了文件，并且拿到了文件 id，如何在大模型推理 api 里面使用这个文档 id？
236
1
0
modelscope-funasr用GPU推理，A10和4090在性能上，是不是差很多很多？
420
1
0
用swift推理训练后的ModelScope模型，参数里model stype是不是就不需要？
124
1
0
ModelScope用这个命令推理Qwen2-57b-a14b-instruct模型，为什么报错？
183
1
0
modelscope-funasr的seaco模型，热词有优先级吗？
273
0
0
有没有详细一些的微调modelscope-funasr上模型的教程（非大模型）？
183
0
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • Python图片上采样工具 - RealESRGANer
  • pytorch基于AnimeFace128数据集训练DCGAN
  • 【发票转表格明细】PDF发票提取到表，图片发票提取到表格，扫描件发票提取到表格，全电发票PDF，全电发票扫描件识别导出EXCEL表格数电发票
  • 高效率办公PDF批量处理：批量OCR识别PDF区域文字内容，用PDF内容批量改名或导出表格的货物运单应用案例
  • 【图片OCR识别用内容改名应用案例】用图片的内容改图片文件的名字，批量OCR识别图片上的文字并同时进行批量改名的操作，基于阿里云的实现详细步骤和注意事项

    • 热门讨论

    热门文章

  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope中，模型下载默认路径在哪个路径？
  • cpu部署报错 Torch not compiled with CUDA enabled
  • 如何下载modelscope模型？
  • ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
  • 在ModelScope中，下载模型时的ssl问题怎么解决？!
  • ModelScope API 400 怎么办？
  • com/action/joingroup?code=v1是什么意思
  • modelscope这个下载有点慢呀，好几次都超时了，怎么解决？
    • 展开全部
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • Manga Image Translator：开源的漫画文字翻译工具，支持多语言翻译并嵌入原图，保持漫画的原始风格和布局
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • RF-DETR：YOLO霸主地位不保？开源 SOTA 实时目标检测模型，比眨眼还快3倍！
  • InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
  • SNOOPI：创新 AI 文本到图像生成框架，提升单步扩散模型的效率和性能
  • SPAR3D：一张图片就能生成3D模型，每个物体的重建时间仅需0.7秒！
    • 展开全部
    还有其他疑问?
    咨询AI助理